m0_46427302的博客

原创 换电脑后VM配置

1、进入 网卡配置目录，查看当前网卡cd /etc/sysconfig/network-scripts/ifconfig -a2、查看这两个地方eth后边的数字，以及文件里第一行的那个eth后面的数字是否一样如果发现不一样，需要把上面的那个文件名后边数字改成下边的那个数字，以及这个文件里第一行对应的位置也改掉...

原创 IDEA整个项目下，全局搜索关键字

原创 Spark 中的UDF

对于非匿名函数写法spark.udf.register("is_yg_dabiao", isYGDaBiao(_: String, _: String): String)对于非匿名函数的注册，一般是函数名需要与我们的自定义函数一致，参数列表中的形参名称可以用下划线代替对于匿名函数写法spark .udf.register("is_yg_dabiao", (a: String, b: String) => a.toInt + b.toInt)对于匿名函数的注册，".

原创 几种文件读取方式

1、Spark读取HDFS文件import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSession/** 环境及参数 */ val spark: SparkSession = SparkSession.builder().getOrCreate() val sc: SparkContext = spark.sparkContext

原创 Some keys were defined with the same name but different types解决办法

Some keys were defined with the same name but different types: 'ssExtractBuild'报这个错误，是和sbt插件冲突有关，到.sbt目录下把plugins目录剪切出去（或者删除），然后重新导入sbt配置

原创 java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

本期是一个spark内部jar冲突的问题shangdiAllResult.repartition(1).write.mode("overwrite").text(selectFrameOut)name := "bj_traffic_laboratory"lazy val commonSettings = Seq( organization := "com.xwsoft", version := "0.1.0", scalaVersion := "2.11.12", up

原创 sbt管理项目时build.sbt文件的编写

无子项目情况name := "temp_test"version := "0.1"scalaVersion := "2.11.12"updateOptions := updateOptions.value.withCachedResolution(true)libraryDependencies ++= Seq( "org.apache.spark" % "spark-core_2.11" % "2.3.2", "org.apache.spark" % "spark-sql_2

原创 clickhouse安装部署

单机版安装客户端和服务端到rpm包存放的路径下rpm -ivh *.rpm下载链接：链接：https://pan.baidu.com/s/16WCVsMgFMYNxZTRtgUjsjA提取码：cj24修改配置文件(如果需要外网访问)# vi /etc/clickhouse-server/config.xml放开 <listen_host>::</listen_host> 的注释启动服务service clickhouse-ser..

原创 clickhouse使用时遇到的坑---(Hadoop的namenode无法启动)

现象：运行 start-all.sh后namenode无法启动原因：端口冲突clickhouse-server 配置的默认通讯端口是9000hdfs的namenode的通讯端口也是9000两者冲突，导致clickhouse-server启用时，无法启动namenode

原创 Linux系统时区异常解决办法

现象：当执行了 date命令后，发现时区属于时间标准时，不是北京时间[root@node01 bin]# date2021年 04月 28日 星期三 02:47:33 UTC解决办法：1、通过 tzselect 查询所在地理位置的时区的TZ2、在家目录的 .bashrc 中添加 对应的环境变量，然后source .bashrc。例如export TZ='Asia/Shanghai'3、更改Linux的时区sudo rm -f /etc/localtimesudo ln...

原创 安装clickhouse时淌过的坑(二)

三个节点同时安装clickhouse后，一节点正常启动，其余两个启动时包如下错误于是对比了一节点和其余节点中 /var/log/clickhouse-server 目录的权限，发现在一节点的赋权是 775，其余节点是754，所属组没有读取权限，其它用户没有执行权限更改赋权后完美解决...

原创 安装clickhouse时淌过的坑

安装这四个包的时候 clickhouse-client-20.3.12.112-1.el7.x86_64.rpm clickhouse-common-static-20.3.12.112-1.el7.x86_64.rpm clickhouse-server-20.3.12.112-1.el7.x86_64.rpm clickhouse-server-common-20.3.12.112-1.el7.x86_64.rpm报错libc.so.6(GLIBC_2.15)(64b...

原创 本地普通项目加入到版本控制

将本地已有的项目添加到Git版本控制中一、创建Git本地仓库(弹出选择框后找到本项目文件夹，点OK)二、添加代码到本地仓库Ctrl+k(提交本地的快捷键)三、本地仓库的代码提交到远程仓库Ctrl+Shift+k(推送本地仓库代码到远程)...

原创 SparkSQL 使用字符串的内置函数split时的坑

省份|城市省份|城市省份|城市省份|城市使用spark-sql_2.11(2.3.2)处理如上数据时,使用split(field,'\\|'),这个分隔符不能被识别,会把每个字符都切出来更改为split(field,'[|]'),正常显示具体原因可能是应为这个版本不支持 '\\|' 这种正则...

原创 shell踩坑---for循环中的问题

for day in {20201225..20201228}do ......done如上格式表示day是从20201225号到20201228号循环的for day in {20201225}do ......done如果换成 {20201225} 这样的 那么 day={20201225}，传入循环中的也是day={20201225}这样就会造成路径错误且无法正常删除...

原创 QGS构建坐标点轨迹

QGS构建坐标点轨迹1、准备一个带有顺序索引的坐标点文件（WGS84坐标系）2、将本文件添加到QGS中3、将底图拖拽过来4、添加坐标文件5、配置相关参数6、选择点成线工具

原创 scala数据类型报错

先上报错Caused by: java.lang.NullPointerException: Null value appeared in non-nullable field:- field (class: "scala.Long", name: "f_cell_id")- root class: "com.xwsoft.structure.Bts"If the schema is inferred from a Scala tuple/case class, or a Java bean,

原创 Sbt的下载安装

Sbt的下载安装1、地址：https://www.scala-sbt.org/winds操作系统下载（.msi格式的就可）2、安装打开下载路径后点击安装（一路下一步，路径最好就在默认的）3、设置远程仓库，自定义.sbt路径自定义一个 .sbt的路径（这个路径下会存放sbt相关的东西，插件等）在 .sbt 目录下创建 repositories 文件并写入如下配置，完成阿里云仓库地址配置（注意这个配置里行尾不能有空格）[repositories]locala

原创 IDEA整合sbt配置

1、IDEA整合sbt配置1.1、在上图中方框位置设置本地仓库位置和.sbt位置（这里的设置只针对当前项目），参数如下-Dsbt.log.format=true-Dfile.encoding=UTF8-Dsbt.global.base=d:/Develop/SBT/.sbt-Dsbt.boot.directory=d:/Develop/SBT/.sbt/boot/-Dsbt.repository.config=d:/Develop/SBT/.sbt/repositories-Ds..

原创 shell中的正则

shell中的正则匹配在shell中的正则匹配不能用 _具体案例：station_domain regexp '[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])?'报错Error: Error while compiling statement: FAILED: PatternSyntaxException Illegal character range near index 3

原创 java语法和scala语法中数组的区别

java语法和scala语法中数组的区别java中数组的定义静态初始化写法写法1：数组中元素类型 数组名 [ ]={元素1，元素2，元素3，...}如：int arry []={1,2,3,};写法2：数组中元素类型 [] 数组名 ={元素1，元素2，元素3，...}如：int [] arry={1,2,3,};动态初始化写法写法1：数组中元素类型 数组名 [ ]=new 数组中元素类型[数组长度]int arry[]=new int[3];arry[0]=1;a

原创 决策树建模过程

决策树建模过程1、第一阶段----环境准备在这个阶段中，我们需要准备SparkSession和SparkContext，以及设置日志级别必要的时候导入SparkSession隐式转化2、第二阶段----数据准备在这个阶段中，不需要太多的操作，只需要把待处理的数据路径准备好即可，一般我们会把待处理的数据放入resource目录下3、第三阶段----读取数据在这个阶段中，我们需要将数据处理成DataFrame格式，主要的事情是对这份数据进行结构上的优化，比如加上表头，如果是csv格式

原创 机器学习相关算法理解

机器学习相关算法理解决策树算法：以ID3算法为代表特征为干，类别为叶以干为据，划样入叶聚类算法：以KMeans算法为代表随机选聚类中心--->计算所有样本点到每个聚类中心的距离，进行组别初步划分--->计算组内各样本点到本组聚类中心距离均值，得出聚类中心在本组的最佳位置--->再次计算所有样本点到各聚类中心距离，判断是否需要重新划分组别，如果需要则重新划分，再次计算聚类中心在新组内最佳位置，如果不需要，则结束算法，终极版聚类中心形成...