- 博客(4)
- 收藏
- 关注
RSS订阅原创 elasticsearch7.x 设置默认副本 和默认分片
number_of_shards每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。number_of_replicas每个主分片的副本数，默认值是 1 。对于活动的索引库，这个配置可以随时修改。修改现有的副本数为0: 现存所有索引副本数变为0curl -X PUT "192.xxx.x.xxx:9200/_settings" -H 'Content-Type: ...
2020-02-27 16:48:35
11664
3
原创 Spark DataFrame的空值形式和空值和非空值之间的相互转换
1.空值替换为其他值建df时的空值表示形式为:nullnullval df = Seq("a", null, "c", "b").toDF("col1")df.show()var df4 = df.na.fill(value="qqq",Array[String]("col1"))df4.show()df: org.apache.spark.sql.DataFrame = [co...
2020-02-21 17:44:29
7397
原创 Scala的dataframe生成与map转化为dataframe
1.生成dataframe的两种方式由于Spark中构造Dataframe 即使是数值类型的数据 也需要以String形式进行创建，var data = Seq( ("0.1","0"), ("0.15","0"), ("0.8","1"), ("1.0","1")).toDF("predict","label")+-------+-----+|predict|label|+-...
2020-02-20 22:25:27
6294
原创 Scala的空值删除和空值填充
重点：删除空值值所在行不考虑选择列的数据类型，而填充时一定要看好对应填充列的数据类型。删除import spark.implicits._var datafff = Seq( ("0", "ming", "tj","2019-09-06 17:15:15", "2002", "192.196", "win7", "bai"), ("0", null, "ln","2019-09-0...
2020-02-13 17:51:31
6985
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人