- 博客(9)
- 收藏
- 关注
RSS订阅原创 正则表达式匹配IP地址
验证ip地址，只有正确的才能匹配到^(((\d)|([1-9]\d)|([1]\d{2})|([2][0-4]\d)|(25[0-5]))\.){3}((\d)|([1-9]\d)|([1]\d{2})|([2][0-4]\d)|(25[0-5]))$
2022-03-30 17:28:33
233
原创 spark进行数据清洗时，如何读取xlsx表格类型文件
首先可以确定的是spark有专门对应excel表格读取的工具，在用spark-sql对xlsx类型文件进行读取的时候只需要再pom.xml文件里添加依赖就可以了添加依赖如下<!-- 读取excel xlsx--> <dependency> <groupId>com.crealytics</groupId> <artifactId>spark-excel_2.11</artifactId>
2021-02-19 20:49:24
2133
1
原创 Spark中map和flatMap的区别
map可以对一个集合中的每一个元素进行操作，适用于只有一个集合的场景，返回的是对每一个元素的进行的转换之后的操作val rdd=sc.makeRDD(List("hello spark","hello hive")) sc.map( i=>(i,1)).collext().foreach(println)//得到结果为：(hello spark,1)(hello hive,1)如上图所示仅仅依靠map方法无法得到下图所示数据(hello,1)(spark,1)(hello,1
2021-02-17 21:29:16
510
原创 如何设置IDEA日志不显示INFO信息
第一步在main目录下创建resources文件夹然后再resources文件夹里面创建 log4j.properties文件 添加以下内容log4j.rootCategory=WARN, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.Patt
2021-02-10 23:49:17
2855
3
原创 集群启动start-dfs.sh时本机有进程或者是集群有进程没有启动
首先考虑多次格式化导致namenode与datanode不一致解决办法：kill -9 进程id 杀死集群里的namenode、datanode等与hadoop相关的进程rm -rm data 删除hadoop目录下的data目录rm -rm logs 删除hadoop目录下的logs目录hdfs namenode -format 格式化namenode进程start-dfs.sh 重新启动xcall jps 这个时候就成功了 注意：若是stop-dfs.sh可以停止
2021-01-24 16:57:35
728
原创 org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory
运行azkaban是出现下图所示错误出现以下提示1，org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory (Access denied for user ‘root’@‘hrbu30’ (using password: YES))2，Caused by: java.sql.SQLException: Access denied for user ‘root’@‘hrbu30’ (usin
2021-01-21 21:00:11
3646
原创 制作本地yum源
1、挂在相关镜像（CentOS-6.8-x86_64-bin-DVD1）2、上传文件然后执行以下命令mkdir /opt/tools 新建工具文件夹mkdir /mnt/cdrom 新建挂载文件夹将自己的CentOS-6.8-x86_64-bin-DVD1.iso文件上传到/opt/tools文件下然后开始进行挂载mount -o loop -t iso9660 /opt/tools/CentOS-6.8-x86_64-bin-DVD1.iso /mnt/cdrom/ 然
2021-01-13 20:50:33
142
原创 虚拟机配置之系统网络及防火墙配置
1、查看网络IP和网关一般不用修改，在此不作说明2、配置网络IP地址1）修改IP地址[root@hadoop102 /]#vim /etc/sysconfig/network-scripts/ifcfg-eth0修改并添加为3、配置主机名[root@hadoop102 /]# vim /etc/hosts添加如下内容172.16.50.30 hrbu304、防火墙设置service iptables status （功能描述：查看防火墙状态）service iptables
2021-01-13 13:44:00
1209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人