2018年07月_淅淅沥沥的熙

10月 09月 08月 07月 04月

转载 java中System.getProperty()的作用及使用

1,System.getProperty返回的数值,比如java.version,java.home,os.name,user.home以及user.dir等等.2,getPropertiespublic static Properties getProperties()确定当前的系统属性. 首先,如果有安全管理器,则不带参数直接调用其 checkPropertiesAccess 方法.这可...

2018-07-21 18:30:00 842

转载 mysql模糊查询的几种方法

下面介绍mysql中模糊查询的四种用法： 1，%：表示任意0个或多个字符。可匹配任意类型和长度的字符，有些情况下若是中文，请使用两个百分号（%%）表示。比如 SELECT * FROM [user] WHERE u_name LIKE '%三%' 将会把u_name为“张三”，“张猫三”、“三脚猫”，“唐三藏”等等有“三”的记录全找出来。另外，如果需要找出u_name中既有“三”又有“...

2018-07-21 15:03:08 311

转载 json对象和字符串的相互转换

//使用json中的parser方法转换；var str='{"name":"fendouer", "age":23}'; //这是一个json字符串''var ob=JSON.parse(str) ; //返回一个新对象console.log(ob.name)//把json中的stringify对象转换成字符串 var obj={"student":[{"na...

2018-07-20 15:35:47 167

转载 IDEA Translation插件，有道智云（有道翻译）应用ID，密钥申请教程

前提：IDEA已经安装Translation插件1.注册有道账号地址：http://ai.youdao.com2.创建翻译实例注册成功之后，点击用户名，如图：点击之后，如图： 3.创建我的应用实例如图：创建成功之后，点击应用名称，如图：得到应用ID 和应用密钥4.将获得的应用ID 和应用密钥配置到IDEA中如图：转载自：传送门 ...

2018-07-19 19:31:59 19049 6

转载 spark-submit中参数详解

一、命令 1.向spark standalone以client方式提交job。 1 ./spark-submit --master spark://hadoop3:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hado...

2018-07-16 17:13:57 786

转载 .sbt文件的配置详解

一个简单的build.sbt文件内容如下：name := "hello" // 项目名称organization := "xxx.xxx.xxx" // 组织名称version := "0.0.1-SNAPSHOT" // 版本号scalaVersion := "2.9.2" // 使用的Scala版本号// 其它build定义其中， name和version的...

2018-07-16 13:39:21 4526

原创 scala源码中B >: A的理解

class Stack[+A] { def push[B >: A](elem: B): Stack[B] = new Stack[B] { override def top: B = elem override def pop: Stack[B] = Stack.this override def toString() = elem.toString() + "...

2018-07-09 20:32:37 1310 1

转载 Spark中的宽依赖和窄依赖

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应...

2018-07-09 20:01:01 321

原创关于运行官方Spark Streaming 实例代码的坑

在本地运行Spark Streaming程序时，不要使用“local”或“local[1]”作为主节点URL。这两种方法都意味着只能使用一个线程在本地运行任务。如果你用基于receiver 的输入dStream(例如套接字、Kafka、Flume等)，然后使用单个线程来运行receiver ，不留下任何线程来处理接收到的数据。因此，当你在本地跑程序时，始终使用“local[n]”作为主节点URL，其中n>接收器要运行的数量（有关如何设置主机的信息，请参见Spark Properties）。将逻辑扩展

2018-07-08 21:32:05 2048 3

翻译 RDD持久化

对应的存储级别以及含义如下：Storage LevelMeaningMEMORY_ONLY将RDD作为非序列化的Java对象存储在jvm中。如果RDD不适合存在内存中，一些分区将不会被缓存，从而在每次需要这些分区时都需重新计算它们。这是系统默认的存储级别。MEMORY_AND_DISK将RDD作为非序列化的Java对象存储在jvm中。如果RDD不适合存在内存中，将这些不适合存在内存中的分区存储在磁...

2018-07-08 16:07:31 162

原创 ajax+echarts实现数据可视化

在项目开发中，我们往往会有将数据可视化展现的功能，于是学会echarts的使用就成为了一件刻不容缓的事情。在echarts官网的实例中，可以大概知道echarts有两种方法实现图表，首先是通过ajax和后台实现jsonarray以及jsonobject等类型的传输，具体传输格式需要参考ehcarts中的示例代码，另外一种方法则是生成.json文件，通过在前端用$.get获取文件中的json数据。其...

2018-07-07 22:50:00 10550 1

原创用Spark rdd进行针对性权重的分析

在信息匹配的环节，有根据权重进行匹配的需求。用户输入的字段有:(job_name(期望工作),city(期望工作城市),sala(期望工作薪水),self_jy(个人经验),self_xl(个人学历))我们希望通过以上条件实现智能化的匹配。具体思路如下：在spark分析程序中将读取Hbase中企业招聘信息到RDD中，利用RDD的一系列算子实现最终的智能匹配，在对工作名的分析中，调用了nlpir自然...

2018-07-07 16:05:39 548 1