- 博客(18)
- 收藏
- 关注
RSS订阅原创 dataFrame（DF）将数据插入ES时报错 org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect E
SparkSql插入ES时报错解决（针对增加用户权限之后的报错解决）org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud i
2022-11-15 16:12:15
1860
1
原创 Azkaban4.0.0版本编译
Azkaban4.0.0版本编译前言由于4.0之前的版本在实际应用过程中会在安扫中jar包Apache Velocity爆出巨大漏洞需要升级至2.3以上版本，所以建议使用4.0.0版本的Azkaban安装包下载https://github.com/azkaban/azkaban/releaseswget https://github.com/azkaban/azkaban/archive/refs/tags/4.0.0.tar.gz -O azkaban-4.0.0.tar.gz安装编译工具
2022-02-11 15:38:35
723
原创 Scala获取当年最后一天、上月第一天、上月最后一天、上周第一天、上周最后一天等日期数据
Scala获取当年最后一天、上月第一天、上月最后一天、上周第一天、上周最后一天等日期数据
2021-12-02 17:30:40
1957
原创 spark value $ is not a member of StringContext
spark value $ is not a member of StringContext问题描述：Error:(61, 40) value $ is not a member of StringContext val click= df.filter($"e_type" === "click") 解决办法在创建的SparkSession对象后，引入【implicits._】val spark = SparkSession.builder() .master("
2021-11-08 14:36:07
2225
原创 CentOS7 yum 时报错 curl#6 - “Could not resolve host: mirror.lzu.edu.cn； Unknown error“ 及telnet安装
CentOS7 yum 时报错[root@localhost apache-flume-1.7.0-bin]# yum -y install telnet-server已加载插件：fastestmirrorLoading mirror speeds from cached hostfile * base: ftp.sjtu.edu.cn * extras: ftp.sjtu.edu.cn * updates: ftp.sjtu.edu.cnhttp://mirrors.nju.edu.cn/
2021-10-12 17:54:49
10481
原创 CentOS 7 es 7.x 集群搭建
CentOS 7 es 7.x 集群搭建1、准备三台虚拟机192.168.50.133192.168.50.136192.168.50.137(主节点)安装连接：https://blog.csdn.net/weixin_45441740/article/details/119779886?spm=1001.2014.3001.55022、进入1192.168.50.137机器配置es核心配置文件vim elasticsearch.yml# 配置集群名称，保证每个节点的名称相同，如此就
2021-09-01 11:18:30
327
原创 CentOS7 ES7.X版本的ES安装
CentOS7 的ES集群搭建一、ES安装下载地址https://www.elastic.co/cn/downloads/elasticsearch2、解压压缩包elasticsearch-7.8.1.tar.gz3、不能以root方式启动es#创建新用户useradd esuser#修改esuser用户密码passwd es#切换至目标用户su esuser#对es的安装文件夹赋予读写权限chown -R esuser:esuser /usr/local/elasticsearc
2021-08-18 16:52:09
1035
原创 Git安装及Idea拉取git代码教程
安装git首先登陆git，下载Windows的安装包 https://git-scm.com/downloads1、下载安装包，进行安装；一直next就可以2、安装完成后，将安装git的bin目录配置入系统环境变量中：如：C:\Program Files\Git\bin配置完成后在cmd中试用git --version 查看git版本，若出现版本信息，则证明安装成功。接下来进行下一步，拉取代码：Idea拉取git代码1、打开idea后，点File----->Setting-------
2021-04-21 15:22:04
5661
原创 Scala中将日期由1、2、3变为“01、02、03”； 将24小时制的时间由1、2、3变为“01、02、03”
Scala中将24小时制的时间由1、2、3变为“01、02、03” cal.add(Calendar.HOUR,-1) val h = cal.get(Calendar.HOUR_OF_DAY) //Calendar.DAY_OF_MONTH是24小时制 Calendar.HOUR为12小时制 val hFormat = new DecimalFormat("00") val hour = hFormat.format(h) //01 02 03 04 05 当日某一
2020-12-23 09:28:04
258
原创 spark中split()根据特殊符号“.“ “|“ “*“ “\“ “]“切割的表达
关于点的问题是用string.split("[.]") 解决。关于竖线的问题用 string.split("\\|")关于竖线的问题用 string.split("\\|")解决。关于星号的问题用 string.split("\\*")解决。关于斜线的问题用 sring.split("\\\\")解决。关于中括号的问题用 sring.split("\\[\\]")解决。...
2020-11-05 16:17:07
2011
原创 创建scala项目及处理Maven无法创建Scala文件的问题
创建scala项目步骤第一步：File------->New-------->Project-------->Maven------------->勾选Create from archetype 并选中scala-archetype-simple 新建第二步：Scala项目如果不能无法创建scala类或者object 则需要以下处理：File--------->Project Structure-------->Libraries-------->点击**
2020-11-05 14:33:26
328
原创 Azkaban Schedule Flow Options(定时任务调度)
Azkaban Schedule Flow Options(定时任务调度)1.crontab知识crontab任务配置基本格式：* * * * * command分钟(0-59) 小时(0-23) 日期(1-31) 月份(1-12) 星期(0-6,0代表星期天)第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令在以上任何
2020-07-27 10:34:29
1213
原创 详解HBase架构原理
详解HBase架构原理一、什么是HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。 HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统；...
2019-12-08 15:55:09
163
原创 Kafka的相关配置信息详解
Kafka相关配置解释//1. 指定kafka消费者的配置信息Properties properties = new Properties();//生产者的配置信息//生产者的服务器配置properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"Spark:9092")//配置ByteArray序列化器props.put(Produ...
2019-11-27 14:50:58
311
原创 Linux安装MySql
Linux中安装MySql#使用yum安装MySQL[root@Spark ~]# yum install -y mysql-server#开启Mysql服务[root@Spark ~]# service mysqld start#设置用户名及密码[root@Spark ~]# mysqladmin -u root password '1234'#登录MySQL[root@Spar...
2019-11-19 09:06:11
210
原创 redis,zookeeper及kafka的安装
redis安装#安装gcc依赖yum install gcc#安装包下载网址 www.redis.io[root@Spark ~]# mkdir /usr/redis #创建文件夹[root@Spark ~]# tar -zxf redis-5.0.6.tar.gz -C /usr/redis/ ##解压文档#解压后进入解压目录进行编译[root@Spark ~]# ...
2019-11-15 21:08:05
170
原创 Hadoop的安装以及基本的shell操作命令
Hadoop一,HDFS的安装1) 准备虚拟机更改ipvi /etc/sysconfig/network-scripts/ifcfg-eth0OnBoot--->yesBOOTPROTO=staticIPADDR=192.168.40.20 (与虚拟机中的NAT模式中的IP一致(前三个字段一致))2)安装JDK1.8 将Linux 版本的Jdk拉至系统的roo...
2019-11-14 16:13:43
379
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人