- 博客(32)
- 收藏
- 关注
RSS订阅原创 SparkSQL JDBC条件查询返回DataSet＜Row＞
Spark2.3.0通过jdbc访问postgresql，通过jdbc()方法实现条件查询获取结果集生成DataSet，查询结果只包含符合条件的数据。在Spark官方的Java API中 org.apache.spark.sql.DataFrameReader提供了一个方法可实现条件查询：Dataset<Row>jdbc(String url, String table, String[] predicates, java.util.Properties connectionPro
2020-10-10 16:03:43
1301
原创 docker中的kafka容器开启JMX远程监控
项目中需要远程监控kafka容器中的消息输入情况，使用了kafka的JMX来实现，由于kafka作为docker容器运行，连接jmx遇到了重重困难，经过一下配置后终于成功。①修改docker-compose.yml文件：添加图片中的参数，把9999端口暴露出来并映射，配置JMX_PORT环境变量，修改完需要docker-compose up重新创建kakfa容器使配置生效。②进入容器，编辑$KAFKA_HOME/bin/kafka-run-class.sh脚本：在脚本第一行添加JMX_PORT
2020-09-15 16:11:35
4768
5
原创 Cloudera Manager开启kafka JMX监控
在Cloudera Manager上创建了3节点的kafka集群服务，想要外部连接kafka JMX监控kakfa数据，需要修改kakfa配置：-Dcom.sun.management.jmxremote.host=192.168.1.125-Djava.rmi.server.hostname=192.168.1.125在下图中修改上述两项配置，默认值为127.0.0.1，需要修改为节点的ip，JMX端口默认为9393。修改完成后重启各个kakfa节点，使用jconsole连接JMX：———
2020-09-02 15:15:27
1662
原创 IDEA maven报错unable to find valid certification path to requested target
在maven配置了阿里云的镜像后，报标题的错。解决方法：在IDEA的Settings-Maven-Runner下修改设置如下：VM Options添加：-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true——————————————————————————————本文为个人记录所用，如有侵权/错误，恳请指出 (╹▽╹)…...
2020-08-21 14:56:01
2058
3
原创 mybatis-plus QueryWrapper条件子句多重与或
鄙人在项目中遇到一个业务要计算月同比和环比，需要查询一个时间字段中多个时间范围的记录，实现的SQL示例如下：select * from fault_happen where train_code = '710' and fault_level = '3' and (happen_time >= '2020-07-01 00:00:00' and happen_time < '2020-08-01 00:00:00'OR happen_time >= '2020-06-01 00:00
2020-08-03 15:11:58
2604
原创 excel给数字的前/后补0至固定位数的REPT函数样例
给数字前/后补0需要用到REPT(text,number_times)函数，其描述如下：函数参数说明：text：文本字符串number_times：重复填写文本字符串的次数———————————————————————————————构造固定11位数的前/后补0样例：①B2单位格上引用A2的数据并前补0至11位数的函数：在B2单位格上写：=REPT(0,11-LEN(A2))&A2②B2单位格上引用A2的数据并后补0至11位数的函数：在B2单位格上写：=A2&REPT
2020-05-20 00:43:29
6813
原创 CM部署CDH安装组件到Hive时报错： Cause:Table 'scm.VERSION' doesn't exist.
Cloudera Manager部署CDH到首次运行页面，安装运行Hive时，报错：HiveMetaException: Failed to get schema version, Cause:Table ‘metastore.VERSION’ doesn’t exist。报错背景：CM和CDH版本为5.15.2①初始化CM数据库时执行的命令是：./scm_prepare_database.sh mysql scm scm即数据库类型是MySQL，scm数据库，scm数据库用户；②在“首次运行”
2020-05-12 22:20:08
3874
2
原创 Ambari界面配置安装集群在Confirm Hosts项报错Registry Failed节点注册失败
设置到confirm hosts项时，确保节点间配置好ssh免密登录，如果遇到Registry Failed问题，Agent向Server注册失败，需要在所有节点的/etc/amabri-agent/conf/ambari-agent.ini 文件的 [security] 项加上force_https_protocol=PROTOCOL_TLSv1_2效果如下：[security]ke...
2020-03-10 17:27:38
1587
1
原创 VMware ESXi克隆导出虚拟机下载时网络错误（或创建时FileNotFound）解决
在VMware ESXi平台上想要克隆虚拟机，在关闭了电源的前提下，点击“导出”提示一共要下载2个文件，一个是.ovf文件，另一个是.vmdk文件。出现如下问题：.ovf文件下载完成，但.vmdk文件一直下载失败，网络错误。解决：https://my.vmware.com/zh/group/vmware/details?downloadGroup=OVFTOOL430&prod...
2020-03-09 16:54:52
8451
原创 Spark Streaming消费kafka数据为减少控制台输出日志配置log4j.properties不起效的问题
在使用Spark Streaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志，为了减少控制台输出的日志，在使用sparkConf.setLogLevel()方法达不到期望时，想通过配置log4j.properties来实现，遇到了log4j.properties不起效的问题。当时我的maven项目的Libraries下已经有slf4j、log4j的库，但是pom.xml文件...
2020-03-03 17:05:59
809
原创 本地使用Kafka API与虚拟机上kafka节点消费/生产数据报错Can't resolve address
在本地IDEA上写的demo访问虚拟机上的kafka想要消费数据，报错如下：10:18:40.347 [main] DEBUG org.apache.kafka.clients.NetworkClient - Give up sending metadata request since no node is available10:18:40.447 [main] DEBUG org.apac...
2020-02-21 16:10:07
1877
原创 CentOS7搭建kubernetes集群&配置&常见问题
在CentOS 7服务器上搭建Kubernetes部署方式各组件以守护进程（服务）方式运行各组件以容器方式运行（使用kubeadm部署）√节点服务分布masternodeskube-apiserver，kube-controller-manager，kube-scheduler ， kube-proxy，etcd , pause，corednsschedu...
2020-01-17 09:19:39
4706
1
原创 Linux CentOS7服务器部署Docker-Community&配置&常见问题
Docker-Community基本概念镜像（images）：镜像是用于创建docker容器的模板容器（container）：容器是独立运行的一个或一组应用，是镜像运行时的实体客户端（client）：与docker的守护进程通信的客户端主机（host）：一个屋里或虚拟的用于执行docker守护进程和容器的机器仓库（registry）：保存镜像的仓库文件系统隔离：每个容器都有自己的...
2020-01-01 00:00:24
461
原创 搭建FTP服务器
Linux CentOS7搭建FTP服务器&常见配置&问题记录安装执行yum install -y vsftpdFTP配置默认路径：/etc/vsftpd在该路径下有如下文件：配置文件ftpusers：ftp的黑名单，拒绝该文件里的用户访问ftp，黑名单总是生效user_list：ftp的用户名单，取决于vsftpd.conf里的userlist_enable和和u...
2019-12-31 23:38:57
514
原创 Linux CentOS7安装memcached
由于项目中需要供应商接入我们的服务器进行调试，他们项目环境用到memcached，所以我要在服务器上安装memcached但遇到了比较坑的问题，如下记录。安装：memcached依赖于libevent库一、下载解压包：libevent压缩包： wget https://github.com/libevent/libevent/releases/download/release-2.1.8-...
2019-12-25 14:56:54
343
原创 SpringBoot Maven项目打包成war包
在IDEA下的SpringBoot Maven项目，想要打包成war包然后部署到服务器的Tomcat容器。1.修改pom.xml的打包方式： <packaging>war</packaging> 2.添加修改SpringBoot的tomcat依赖的scope属性 <dependency> <groupId>org.s...
2019-12-19 18:51:21
705
原创 maven install报错maven sun.security.validator.ValidatorException: PKIX path building failed
如题，在IDEA中使用maven install操作时，报错：[ERROR] Plugin org.apache.maven.plugins:maven-resources-plugin:3.0.2 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache...
2019-12-08 00:40:17
1928
原创 使用0.9版Kafka的KafkaConsumer Java API来消费不到数据
在IDEA中使用kafka（版本0.9.0.1）的Java API向kafka生产和消费数据。在使用Java API之前，使用kafka的console脚本可以向控制台生产和消费数据，使用Java API的KafkaProducer也可以生产数据并能在控制台消费，但使用KafkaConsumer却消费不到数据。生产者：public class KafkaPrdMsg { public...
2019-10-23 21:36:50
1090
原创 Hadoop集群启动HDFS后namenode都挂了>_<
今天，如往常一样的步骤启动HDFS：先开启zookeeper：zkServer.sh start再开启hdfs和yarn：start-all.sh (包括 start-dfs.sh 和 start-yarn.sh )但是jps前后查看进程后发现后面少了namenode：查看日志hadoop/logs发现报如下异常：Retrying connect to server: node03/1...
2019-10-16 17:08:32
827
原创 HDFS读写本地文件/目录的Java demo
文章目录read from hdfswrite to hdfsupload to hdfsdownload from hdfsuploadDirectory to hdfsdownloadDirectory from hdfsread from hdfs@description: 从hdfs的文件读取数据到本地d盘的文本文件中，使用IOUtils.copyBytes()，这个方法比较通用：...
2019-10-16 15:12:48
694
原创 Hadoop HA在停掉active namenode后无法自动切换到standby namenode
问题：停掉active namenode后无法自动切换到standby namenode，但是手动重启停掉的active namenode后，standby namenode就变成active了。如题，设置了两个NameNode，启动时一个active，一个standby。当在active namenode上运行如下命令停掉active namenode：hadoop-daemon.sh s...
2019-10-06 15:48:24
1764
3
原创 CentOS 7 防火墙firewall
CentOS 7.0默认使用firewall作防火墙查看防火墙状态firewall-cmd --state关闭防火墙systemctl stop firewalld.service禁止防火墙开机启动systemctl disable firewalld.service ——————————————————————— 分割线 —————————————————————————C...
2019-09-21 18:31:20
87
原创 Linux CentOS7 ntpdate时间同步
date 查看系统时间手动修改Linux操作系统时间date -s 2012-08-02 只修改系统的日期date -s 10:08:00 修改时间不修改日期date -s “2018-01-01 04:53:00” 同时修改日期和时间使用ntpdate从时间服务器同步时间先安装 ntp 服务：yum -y install ntpntp常用时间服务器：NTP服务器(上...
2019-09-21 15:39:26
1277
原创 IDEA SpringBoot解析不到配置文件的参数Could not resolve placeholder * in value *
SpringBoot 项目配置文件application.yml放在src/main/config目录下，目录如下：运行main启动类时报错：Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name ‘webMvcConfiguration’: Injec...
2019-09-10 09:37:17
13122
1
原创 This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery'
如题，limit不能与in/all/any/some连用，update fault_time set combine_time = '' where combine_time in (SELECT LENGTH(max_len.combine_time) from (SELECT LENGTH(combine_time) from phm_fault_repair ORDER BY LENGTH...
2019-09-06 14:24:12
2825
原创 MySQL常用函数max()和length()使用
MySQL max()函数用于找出指定记录集中字段值最大的记录：SELECT MAX(combine_time) from fault_time;查询结果如下：---------------------------------------------------------------------分割线-------------------------------------------...
2019-09-03 09:50:30
2649
原创 java.io.InvalidClassException:stream classdesc serialVersionUID = *, local class serialVersionUID=*
在项目中使用到Spark Streaming，设置了checkpoint为HDFS的路径/hadoop/datas，但运行时报错：java.io.InvalidClassException......:stream classdesc serialVersionUID = *, local class serialVersionUID=*，提示序列化版本不一致，根据网上解决方案——显式指定se...
2019-08-17 22:43:19
3498
原创 git常用命令
功能：git init 初始化当前目录为git版本库git add “readme.txt” 把文件修改添加到暂存区git commit -m “edited readme.txt” //把暂存区的所有内容提交到当前分支 -m 参数添加commit信息git diff 版本修改内容比较git log 命令显示版本库从最近到最远的提交日志git statusGit在内部有个...
2019-08-05 09:41:04
74
原创 JSON属性过滤器PropertyFilter示例
使用fastJSON的PropertyFilter过滤属性后序列化ProPertyFilter api：package com.alibaba.fastjson.serializer;public interface PropertyFilter extends SerializeFilter { boolean apply(Object var1, String var2, Ob...
2019-06-28 21:35:30
3120
原创 String.format()格式字符串的常用转换语法
常用的转换类型（摘自jdk1.5）：%…‘c’, ‘C’ 字符 结果是一个 Unicode 字符‘d’ 整数 结果被格式化为十进制整数‘o’ 整数 结果被格式化为八进制整数‘x’, ‘X’ 整数 结果被格式化为十六进制整数‘e’, ‘E’ 浮点 结果被格式化为用计算机科学记数法表示的十进制数‘f’ 浮点 结果被格式化为十进制数‘t’, ‘T’ ...
2018-10-28 01:20:55
1263
原创 SQL语句where子句同时包含and和or/left join多个表的情况
当sql语句中where子句同时包含and和or例子所用表如下：dep表：emp表:salary表:今天笔试的时候被一个两次left join的sql语句难倒了我，所以通过例子来验证一下，然后又发现where子句中同时and和or的情况，所以来此宝地记录总结一下。测试用sql语句：SELECT * from (SELECT e.ename,d.dname,s.salary f...
2018-10-19 23:23:12
3883
2
原创 创建maven项目pom.xml报org.apache.maven.archiver.MavenArchiver.getManifest
在MyEclipse创建maven项目后pom.xml首行报org.apache.maven.archiver.MavenArchiver.getManifest(org.apache.maven.project.MavenProject, org.apache.maven.archiver.MavenArchiveConfiguration)参考网上方法修改如下配置：<prop...
2018-08-01 01:27:32
2287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人