- 博客(52)
- 收藏
- 关注
RSS订阅原创 com.github.clickhousepower.jdbc.ClickhouseSQLException:DB:Exception: Unexpected packet Data received
clickhouse 写入数据出现stack track
2023-03-28 16:26:52
749
1
原创 clickhouse unexpected packet data received from client,stack strace
clickhouse unexpected packet data received from client 亲测解决方式
2023-02-10 14:09:20
770
原创 pyspark:TypeError:an integer is required（got type bytes）解决
本机环境：spark2.4.4，miniconda默认安装的最新python 3.9运行 bin/pyspark时报错如下：[root@hdp01 spark2.4]# pyspark --master local[1]Python 3.9.7 (default, Sep 16 2021, 13:09:58) [GCC 7.5.0] :: Anaconda, Inc. on linuxType "help", "copyright", "credits" or "license" for mo
2022-04-29 20:38:07
7535
4
原创 com.typesafe.config.ConfigException$BugOrBroken: com.typesafe.config.impl.SerializedConfigValue shou
spark写图片数据到sftp报错：com.typesafe.config.ConfigException$BugOrBroken: com.typesafe.config.impl.SerializedConfigValue should not exist outside of serialization
2022-04-07 20:50:51
1503
原创 idea新建Scala项目 右键没有Scala class选项
一：之前下载过Scala依赖的卸载重下，restart IDEA 相当于刷新环境，然后试一下右键有没有出来scala二：我的调整到这里右键有Scala提示了并且new project的时候，选择Scala 也有四个可选项
2022-04-02 23:03:29
1498
原创 windows更快进入环境变量修改的位置
修改windows 配置环境变量找控制面板不好找童学们， 更快找到 高级配置的方式如下：随机打开一个文件夹在上面的路径中贴上控制面板\所有控制面板项\系统不负众望，它出现了
2022-04-02 21:41:08
352
原创 spark + sftp
1，读取本地图片，并上传至SFTP val file = new File("/mnt/data/hdd4/yarn/local/usercache/IT_bigdata/appcache/tag1200.jpg") val img = ImageIO.read(file) val baos = new ByteArrayOutputStream() ImageIO.write(img, "jpg", baos) val byte = baos.toByteArray
2022-04-02 08:27:20
823
原创 使用python发送邮件报错：starttls extension not supported by server.
在网上找了个使用python语言发送邮件的demo，如下：import smtplibfrom email.mime.text import MIMETextfrom email.header import Headermail_host = "收件箱所在IP"mail_password = 'password'sender = "myEmail"receivers = ["youEami"]message = MIMEText("python发送邮件", "plain", "utf-
2021-03-22 19:28:58
4219
3
原创 初学python需要弄清楚的几个问题
看视频在学习python，里面的示例代码都有敲，最后还是有一点凌乱1，学习python会涉及很多第三方库 与 模块，常用的下载方式是 使用 pip install XXX以下载机器学习库的 numpy 为例：pip3 install numpyRetrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’<
2021-01-23 17:32:16
283
3
原创 spark程式发送邮件方法整合
import java.io.Fileimport com.typesafe.config.ConfigFactoryimport play.api.libs.mailer._class EmailUtils(subject: String, // 邮件主题toStr: String, // 收件人邮箱 （以逗号连接多个收件人邮箱）password: String, // 邮件发起者的 密码bodyText: String, // 邮件正文bodyHtml: String = “”, //
2020-10-12 17:25:57
2289
原创 current transaction is aborted, commands ignored until end of transaction block
使用 DBeaver 手动提交模式 查询 postgres数据库时出现报错：current transaction is aborted, commands ignored until end of transaction block原因：查看历史SQL发现在提交了某个SQL后出现此报错，可能是此条SQL不对，任务没有真正提交，每次都卡在这条SQL上。解决：回滚 或者 提交 刚才提交的SQL，清空任务栏中的任务后，再次查看，OK！...
2020-10-10 10:15:52
2656
原创 Failed to execute user defined function(anonfun$concatStr$1: (map＜string,string＞, string) =＞ string)
自定义spark UDF函数如下： def concatStr: UserDefinedFunction = udf((list: Map[String, String], key: String) => { val param = list.getOrElse(key, "") key.concat(param) })今天出现报错信息：org.apache.spark.SparkException: Failed to execute user defined fu
2020-10-07 10:15:57
3960
原创 org.apache.hadoop.hbase.ipc.CallTimeoutException:row ‘12F3‘ on table ‘HBASETABLE‘ at region....
今天在查HBASE表时，一批次大概千万条数据，表结构 rowkey是三个关键信息拼接的，A,B,C A 和 C 是多对多的关系,在只有第一信息的情况下使用HBASE的范围查询+模糊查询，setStartRow(A) ,setStopRow(A)，RowFilter(RegexStringComparator©)查询时报错：org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=6, waitTime=60030, rpcTimeout=
2020-08-22 15:56:09
2812
原创 在shell中写curl语句进行elasticSearch数据查询
1，查询已有的indexcurl -XGET ‘http://ip:9200/itcast/account/_search’ >> a.log{"took":2,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"total":998,"max_score":1.0,"hits":[{"_index":"itcast","_type":"account","_id":"2
2020-08-11 19:31:37
1915
原创 Error interpreting the template of the input: template: text:3:22: executing “text“ at ＜.paths＞
使用filebeat 的 module 监控kakfa log，启动filebeat报错：Error interpreting the template of the input: template: text:3:22: executing "text" at <.paths>: range can't iterate over /var/log/kafka/server.log报错是filebeat.yml 文件中指定路径的写法：var.paths: "/var/log/kafk
2020-08-07 15:31:41
874
原创 指定程序立即退出执行的方法
需要程序 退出 当前执行System.exit(-1) Java JDK中 提供的方法sys.exit() Scala 提供的方法
2020-04-24 11:13:53
520
原创 postgreSQL中时间类型的操作
postgre SQL 中的時間類型有4種：timestamp (時間類型 格式 ： ‘YYYY-MM-DD HH24:MI:SS’)date (日期 格式： ‘YYYY-MM-DD’)time (時間 格式： ‘HH24:MI:SS’)interval (間隔 格式： day hour hours second )時間進行計算時...
2020-04-12 11:20:07
2535
原创 java.lang.NoSuchMethodError: org.apache.spark.sql.types.StructType.names()[Ljava/lang/String;
原jar包版本2.4.3，现在集群运行环境是2.3.2，代码中有一段要调用StructType.names()方法，结果报错java.lang.NoSuchMethodError: org.apache.spark.sql.types.StructType.names()[Ljava/lang/String;使用如下文章中的方法：https://blog.csdn.net/wuhuimin9...
2020-04-10 11:09:46
736
原创 安装elasticsearch及报错could not find java in JAVA_HOME or bundled at /root/jdk-11/bin/java
安装elasticsearch参考的文档https://blog.51cto.com/hwg1227/2299995因为我下载的最新版本7.4，对jdk版本要求为jdk11，去官网下载jdk时，要求登录Oracle账户，使用了别人分享的账户密码：2696671285@qq.com密码：Oracle123原版链接：https://blog.csdn.net/WNsshssm/article/...
2019-11-10 14:47:00
32774
原创 开启程序员之路---上班感悟
上班快两个月了，工作不是很忙，与之前的区别是：可以看着真正的需求，真实的项目将之前学的知识系统化，之前喜欢专研一个知识点，由点及面的拓展知识，所以，上班没有太手忙脚乱的感觉大数据在实际运用中spark部分sparkSql会用的比较多，因为它可以将各种结构化和非结构化的数据转换成自己的数据集，并且提供的两种风格的语法，可以实现大部分对数据增删改查的处理逻辑，当然sparkstreaming在实时...
2019-11-05 22:11:49
189
1
转载 定时任务
终于完成了第一个定时任务。定时语句如下：/1 * * * * [需要执行的任务]使用crontab -e定时之后，控制台没有显示，但是会有一个您在 /var/spool/mail/root 中有新邮件*提示定时任务后面是的comment，可以写的复杂点那么上面的不能打印到控制台，可以将文件追加到指定文件中，使用tail -f 来监控文件即可。又新发现还会来更新的...
2019-08-14 13:55:07
157
原创 hive优化之动态分区--静态分区
最近做项目，hive表中导入数据时使用了一个之前没有见过的语法set hive.exec.dynamic.partition.mode=nonstrict;insert overwrite table dws_uv_detail_mn partition( mn)select mid, ... ....date_format('2019-02-03','yyyy-...
2019-08-03 20:43:40
312
原创 打开虚拟机报错VMware虚拟机报错:无法打开内核设备"\\.\Global\vmx86": 系统找不到指定的文件.是否在安装 VMwar
今天打开虚拟机的时候报错了：VMware虚拟机报错:无法打开内核设备"\.\Global\vmx86": 系统找不到指定的文件.是否在安装 VMwar可能是清理电脑的时候将其服务关闭的原因好在网上有完整的处理方法阶段1 ：https://blog.csdn.net/qq_36798272/article/details/88563907Windows+R打开运行对话框，输入cmd 回车...
2019-06-26 16:27:11
25064
11
原创 spark 中生成包含元组(1,“a") (2,"b”) (3,"c”)...(25,"y") (26,"z")的RDD
需求：把26个字母与数字组合在一起，并形成RDD算子将字母和数字放一起有很多形式val strings = 'a' to 'z'for (i <- 0 to 25) {(i + 1, strings(i).toString)}这样就可以打印出需要的格式但是怎么生成RDD呢首先RDD中的是一系列的元组，类似与Array（（Int，String））＝（(1,“a") (2,"...
2019-06-25 14:05:43
577
原创 小白心中的反编译操作步骤
经常听说编译编译，但是不太了解其意义先说一下反编译的操作首先的有反编译工具 jd-gui.exe （由于本人还不会上传运行文件，看见的宝宝自行下载吧）下载好后，在ecilpse或者idea中找 out 或者target（maven项目） 文件夹，里面是已经编译好的字节码文件.class格式右键选中的目录，选择中间位置有一个show in explorer 进入Windows中...
2019-06-01 21:33:07
745
原创 编写一个扑克牌 4 种花色的枚举,让其 toString 方法分别返回♣,♦,♥,♠，并实现一个函数,检查某张牌的花色是否为红色
//继承枚举类实现枚举类的方法 //继承App 可以省略main方法，直接进行测试object Four extends Enumeration with App { type Suits = Value val Spade = Value("♣") val Club = Value("♦") val Heart = Value("♥") val Diamond...
2019-05-31 20:14:51
1389
原创 Windows , IDEA 与 Linux->vim中常用命令大全
之前总结了一些很常用的快捷方式，但是最最常用的记住了，还有很多慢慢淡忘了，再来复习一遍windows中的快捷键1，关于CTRL键CTRL+a 全选CTRL+s 保存CTRL+x 剪切CTRL+c 复制CTRL+v 粘贴CTRL+z 撤销/相当于文档中的向左箭头CTRL+y 恢复上一步的撤销/相当与文档中的右箭头CTRL+shift+ESC 打开任务管理器CTRL...
2019-05-19 20:10:20
396
原创 hive整合HBase:HBase table xsg:test05 doesn't exist while the table is declared as an external table
版本 虚拟机centOS7 hive 1.2.1 hbase 1.2.61，在hive-site.xml中添加配置 <property> <name>hbase.zookeeper.quorum</name> <value>test-hadoop-2-21,test-hadoop-2-22,test-hadoop-2-23...
2019-05-17 20:08:46
1502
原创 关于数组中的大括号{}和数组的遍历
byte[][] = {}; 看见这种格式不要惊讶这个{}是个什么鬼，这是数组存值的格式//一维数组int [] a ={1,5,2,51,5};//二维数组int [][] b ={{1,5,2,},{7875,555578}};//一维数组的遍历for (int i:a ) { System.out.println(i);}System.out.printl...
2019-05-08 18:30:07
7687
1
原创 zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts，Master exiting
as closed socket, closing socket connection and attempting reconnect2019-05-08 09:52:34,896 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts2019-05-08 09:52:34,8...
2019-05-08 10:25:29
4016
原创 大数据开发资料大集合
Hadoop集群的搭建https://www.iqiyi.com/v_19rrd8arz8.htmlzookeeper详解https://www.bilibili.com/video/av31971404/?p=17
2019-05-08 08:57:40
285
原创 桌球游戏小项目及注意事项
这是对于Java初学者培养兴趣很好的项目，今天花了一个小时，代码部分没有出错，但是最终没有图片效果，先上代码，说不定你的没问题import javax.swing.*;import java.awt.*;//实现动画，小球沿着水平方向移动并作出边界检测public class BallGame03 extends JFrame { Image ball = Toolkit.g...
2019-05-06 10:12:55
488
2
原创 resourcemanager起不来，找不到修改的路径
今天配置了oozie ,但是配置好了之后，重启了yarn服务后，发现resource manager起不来了，平常都不看日志的，今天可算是练习了一下查看日志。。。。。首先找到日志的地址，如果日志中没有做特殊设置，日志就会在Hadoop目录下，如果有单独配置，既然都配了，想一想吧 /root/apps/hadoop-2.8.1/logs找到日志了，有两种方法 less yarn-root...
2019-04-26 09:28:04
1749
原创 搭建Hadoop集群后一直使用的start-all.sh到底是个什么操作
#在sbin路径下看到常见的启动文件，打开看一下源码/root/apps/hadoop-2.8.1/sbin/start-all.sh 的路径 //注释：开启所有的Hadoop所有进程，在主节点上进行# Start all hadoop daemons. Run this on master node. //显示echo后面的文字，提示：不推介此脚本，最好使用脚本 start-dfs...
2019-03-20 11:51:32
4603
1
原创 Hadoop知识大纲，终于知道整个过程都会学什么了
通过看各种视频，把Hadoop中会涉及到的知识，构造成一份合适的大纲1. Hadoop发展简史特点 ，实际开发中 的应用2. Hadoop集群搭建1)集群的分工 HDFS集群 负责海量数据的存储 Yarn集群 负责海量数据运算时的资源调度 MapReducer 负责运算2)服务器准备 [3)网络环境准备](https://blog.csdn.net/qq_4...
2019-03-18 19:27:31
314
原创 Java开发最最好用的快捷设置
还在苦苦切换中英文状态吗?开发最最省力气的快捷键,全部输出英文状态下的标点哦桌面右下角的输入法—右键单击----设置—常规即可看见上面所示的图片,打开中文输出时使用英文标点即可很适合怕麻烦的初级开发者,但是要牺牲的就是打不出中文状态下的标点了 ~.~利弊自己权衡喽...
2019-03-07 19:34:37
143
原创 Linux中的JDK下载
为什么要安装JDKLinux最终是要实现Java功能呢的,所以虚拟机系统中也必不可少的是JAVA的JDKJDK 的安装1 将JDK的压缩文件下载到windows上2 再将压缩文件上传到虚拟机上,将压缩文件解压缩3 配置环境变量依次如下展开:1 在浏览器中输入jdk1.8,找到Oracle官网下载,和初学Java时的下载一样,记住下载的位置有两个版本 .rpm 压缩版 .t...
2019-02-28 14:09:08
3567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人