- 博客(143)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 kafka独立消费者与非独立消费者区别
独立消费者在启动消费者时，如果明确指定了要消费的主题、分区，以及消费的位置！此时启动的消费者，称为独立消费者！非独立消费者 在启动消费者时，只指定了消费的主题，没有指定要消费哪个分区！此时这个消费者称为非独立消费者！区别独立消费者在消费数据时，kafka集群不会帮消费者维护消费的Offset！...
2020-09-09 14:48:06
634
原创 Python学习手册
Python学习手册1.编译器CPython当我们从Python官方网站下载并安装好Python 3.x后，我们就直接获得了一个官方版本的解释器：CPython。这个解释器是用C语言开发的，所以叫CPython。在命令行下运行python就是启动CPython解释器。CPython是使用最广的Python解释器。教程的所有代码也都在CPython下执行。IPythonIPython是基于CPython之上的一个交互式解释器，也就是说，IPython只是在交互方式上有所增强，但是执行Python代
2020-09-08 17:31:50
4203
6
原创 Table ‘performance_schema.session_variables‘ doesn‘t exist
前言因为升级mysql导致结构错误版本由5.6升级到5.7的时候发现报错解决办法关闭mysql服务service mysqld stop修改/etc/my.cnf# For advice on how to change settings please see# http://dev.mysql.com/doc/refman/5.6/en/server-configuration-defaults.html[client]port = 3306socket
2020-08-13 23:39:05
320
原创 虚拟机安装CentOS7网络配置总结及克隆注意事项
此仅限于测试环境安装切换到root用户修改ifcfg-ens33权限chmod 777 /etc/sysconfig/network-scripts/ifcfg-ens33编辑文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33添加如下BOOTPROTO=staticONBOOT=yesNM_CONTROLLED=yesIPADDR=192.168.58.100NETMASK=255.255.255.0GATEWAY=192.168.58.
2020-08-12 21:56:35
819
原创 RDD转DF方式2，定义Schema
package com.atguigu.spark.sql.day02import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.sql.{Row, SparkSession}/** * Author zhengkw * Date 2020/5/14 10:31 */object RDD2DF_2 { def main(args
2020-08-09 23:42:49
352
原创 使用alibaba-DruidPool出现拒绝创建连接对象
场景在做sparkstreaming业务时，对接kafka数据源，用到了手动提交offset，利用mysql存放offset！在分区内创建获取德鲁伊连接池里的连接对象。一直获取不到connection，报错信息如下line: 933) : init datasource error, url: jdbc:mysql://hadoop102:3306/qz_course?useUnicode=true&characterEncoding=utf8&serverTimezone=
2020-07-01 12:57:43
971
原创 清理maven仓库中的lastUpdated文件
@echo offremset REPOSITORY_PATH=E:\repositoryremfor /f “delims=” %%i in (‘dir /b /s “%REPOSITORY_PATH%*lastUpdated*”’) do (del /s /q %%i)rempause
2020-06-22 22:00:50
718
原创 hive中常见的关于日期的函数 （整理）
hive中常见的关于日期的函数unix_timestamp:返回当前或指定时间的时间戳 from_unixtime：将时间戳转为日期格式current_date：当前日期current_timestamp：当前的日期加时间to_date：抽取日期部分year：获取年month：获取月day：获取日hour：获取时minute：获取分second：获取秒weekofyear：当前时间是一年中的第几周dayofmonth：当前时间是一个月中的第几天months_between： 两个
2020-06-18 14:54:06
3899
原创 java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeInformation
参考链接问题解决办法在idea中勾选一个选项原因编译部署的时候没有将依赖全部导入，因为本人用的是快速原型导入的maven，里面scope好多是provided的，这样导致依赖在编译的时候无法全部加载，生产环境的话如果已经装好了环境，那么这个在生产上跑是没问题的，但是调试的时候需要将这个勾选，否则会报错！...
2020-06-08 13:05:42
6961
原创 scala中样例类与JSON字符串之间转换思路
样例类 ->JSON字符串采用JSON4S来转换！核心伪代码import org.json4s.DefaultFormatsimport org.json4s.jackson.Serialization val content = Serialization.write(value)(DefaultFormats)JSON->样例类采用阿里的fastjson来处理！import com.alibaba.fastjson.JSON//OrderDetail为样例类val o
2020-06-06 00:27:17
1179
原创 用scala向es写数据
package com.zhengkw.gmall.realtime.utilimport io.searchbox.client.JestClientFactoryimport io.searchbox.client.config.HttpClientConfigimport io.searchbox.core.Index/** * @ClassName:ESUtil * @author: zhengkw * @description: * @date: 20/06/03下午 2:30
2020-06-04 22:37:27
956
原创 ES- Set fielddata=true on [actorList.name] in order to load fielddata in memory by......
GET movie_index/_search{ "aggs": { "b": { "terms": { "field": "actorList.name", "size": 10 } , "aggs": { "sum": { "sum": { "field": "doubanScore" } } } } }
2020-06-04 20:56:29
3610
原创 解决vim从外部复制脚本内容时全注释问题
前言很多人应该有过这样的体会，在windows上写好了shell脚本，然后在linux上创建一个空白文件，将内容复制，结果全是被注释！原因推测是 脚本shebang行（#!/bin/bash）开头有个#，所以复制过来以后的内容都会加入#！而在脚本中#代表注释！解决办法在vim 进入编辑模式！:set paste...
2020-06-03 01:47:40
3101
原创 Elasticsearch (ES)+Kibana简单使用
前言es是一个强大的搜索引擎，目前知名公司内部都在使用！因为Elasticsearch 是一个基于 Apache Lucene™ 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。首先我们要知道，es虽然强大，但是不方便操作，所以我们需要借助于kibana工具来进行开发！kibana本篇不讲kibana和es的安装，后面会专门写安装过程。这里先知道kibana工具是提供了一个可视化的界面。我们的es需要以基于 HTTP 协议，以
2020-06-03 00:05:23
11463
原创 脚本中使用ssh命令执行远程命令注意事项
shell命令中的空格问题(用ssh执行)①如果shell命令中有空格，可以使用单引号或双引号引起来②单引号不会识别特殊符号，而双引号会识别特殊符号，而双引号会识别特殊符号，而双引号会识别符号，将$解析为变量的引用③最外层是双引号，内嵌单引号，$等特殊符号依旧可以识别④最外层是单引号，内嵌双引号，$等特殊符号无法识别` 反引号，将反引号中的内容作为linux命令执行，赋值给一个变量！等价于$()...
2020-06-02 23:38:12
934
2
转载 pkillp与grep等使用简单介绍
常规篇：首先，用ps查看进程，方法如下：$ ps -ef……``smx 1822 1 0 11:38 ? 00:00:49 gnome-terminal``smx 1823 1822 0 11:38 ? 00:00:00 gnome-pty-helper``smx 1824 1822 0 11:38 pts/0 00:00:02 bash``smx 1827 1 4 11:38 ? 00:26:28 /usr/lib/firefox-3.6.18/firefox-bin``smx 1857 1822
2020-06-02 23:28:27
452
转载 alibaba-canal数据对象格式简介
阿里github示例Entry Header logfileName [binlog文件名] logfileOffset [binlog position] executeTime [binlog里记录变更发生的时间戳,精确到秒] schemaName tableName eventType [insert/update/delete类型] entryType
2020-06-01 00:49:44
1934
原创 My id 0 not in the peer list
前言集群使用外部的zk来管理所有的选举，hbase内嵌了一个zk。每次运行hbase后，我的外部zk进程就会挂掉。取而代之的是一个名字叫做HQuorumPeer的进程！名字是不是很眼熟。和我们的外部zk进程就多了个H？那么这个进程到底是怎么回事呢，搞明白为什么这个进程出现，搞明白为什么我外部的myid文件被篡改就搞明白了真相！查明原因每次我的myid文件都会被篡改，在日志中也没有反应相应的操作，那么只能做一个事情，那么就是将文件权限改为只读。当我把文件改为只读以后，奇妙的事情就这样发生了！启动完
2020-05-31 11:45:28
2087
原创 SpringBoot程序中使用log4j，打印日志生成文件失效！
前言第一次玩SpringBoot，想将日志信息打印，log4j的依赖也成功添加了。然而在进行打印的时候居然没有达到预期！十分无奈，好不容易找到问题了，现在做个mark，记录下这个注意事项，以后防止再踩一次！log4j配置#打印到控制台log4j.appender.zhengkw.MyConsole=org.apache.log4j.ConsoleAppenderlog4j.appender.zhengkw.MyConsole.target=System.errlog4j.appender.zhe
2020-05-28 15:37:07
1901
原创 bad interpreter: /bin/bash^M: no such file or directory(windows下写shell脚本在linux下运行)
原因因为在 window 下写的脚本回车的时候使用的是\r\n, 而在 linux 使用\n就可以了, 所在每行的末尾多了一个\r.解决办法func1//shname是文件名sed -i -e 's/\r$//' shnamefunc2vim编辑文件set ff=unixfunc3如果是利用idea编写脚本那么设置idea修改为 \n...
2020-05-27 15:54:50
231
原创 redis简介
一. redis的安装解压安装gccgcc-c+±4.4.7-23.el6.x86_64yum install -y gcc-c++3.编译redisa: 进入src b: 编译makecd srcmake4.安装 要么使用sudo, 要么直接切换到rootmake install5.脚本所在/usr/local/bin二. redis 基本操作开启服务器:redis-server [配置文件]如果没有配置文件, 使用默认配置 端口号6379开启
2020-05-25 22:51:59
158
原创 git bash基础命令
关于git的命令都是通过git bush来输入的一般的git命令必须以git开头！例如下面的命令git config --list 所有配置git三区工作区 （working) .git上一层目录（项目的目录）暂存区.git 内部一部分是暂存区本地仓库.git内部的一般是本地仓库git add 文件作用: 1. 让git跟踪这个文件 2. 把文件添加到暂存区git commit文件把文件提交到本地仓库忽略文件忽略所有的忽略所有的.a 文件 .a但跟踪
2020-05-24 21:01:35
381
原创 浅谈spark中的standalone内核源码
Spark-standalone模式下内核分析1.1 Master和Worker启动在standalone模式下，如果配置了高可用，则必须先启动ZK和HDFS，HDFS里面有历史服务信息！使用启动命令start-all.sh启动 ->执行2个脚本 start-master start-slave1.2.1启动master启动master和worker并不冲突，他们为并行执行。脚本中执行java –cp org.apache.spark.deploy.master.Master相应
2020-05-21 23:21:59
232
原创 Spark中RDD与DF与DS之间的转换关系
前言RDD的算子虽然丰富，但是执行效率不如DS，DF，一般业务可以用DF或者DS就能轻松完成，但是有时候业务只能通过RDD的算子来完成，下面就简单介绍之间的转换。三者间的速度比较测试！这里的DS区别于sparkstream里的DStream！！转换关系RDD的出现早于DS,DF。由于scala的扩展机制，必定是要用到隐式转换的！所以在RDD下要转DF或者DS，就应该导隐式对象包！ val conf = new SparkConf().setMaster("local[*]").setAppNa
2020-05-18 23:13:38
3022
原创 spark-streaming中DS的创建方法（用于测试）
由Socket方式构建package com.zhengkw.stu.day01import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}/** * @ClassName:SoketWor
2020-05-18 22:17:54
325
原创 Sparkstreaming连接Kafka，利用CKP来保证输出数据不丢失
package com.zhengkw.stu.day01.kafkademoimport kafka.serializer.StringDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.strea
2020-05-17 22:56:21
307
原创 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):
Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied: user=swimer, access=EXECUTE,inode="/tmp/hive":zhengkw:supergroup:drwxrwx—windows环境下，idea编写spark-sql访问hive权限问题hive是在HDFS上的，一般作为数据仓库，.
2020-05-15 20:50:52
2179
原创 关于scala中的自身类型的注意事项
Demopackage com.zhengkw/** * @ClassName:Test * @author: zhengkw * @description: * @date: 20/05/12下午 11:30 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object Test { def main(args: Array[String]): Unit = { }}/** * @descrption: 特质Logge
2020-05-12 23:42:41
179
原创 spark-shell --master yarn模式下 com.hadoop.compression.lzo.LzoCodec not found.
错误原因笔者在hadoop中配置了编解码器lzo，所以当使用yarn模式时，spark自身没有lzo的jar包所以无法找到！解决办法将lzo的jar包路径给spark！配置spark-default.conf文件！...
2020-05-04 21:21:29
783
1
原创 scala的默认导入和以及包声明以及导入
前言Scala默认会为每个.scala文件导入以下3个包:java.lang._scala._scala.Predef._ (一般很多的隐式转换都在该包下)包的声明支持和java一样的声明方式(基本这种使用)package com.zhengkw.scala.day04.pack支持多个package语句(很少碰到)package com.zhengkw.scal...
2020-04-27 23:00:03
1417
原创 Scala隐式参数隐式值注意事项
package com.zhengkw.scala.day06Exc/** * @ClassName:ImplicitValue * @author: zhengkw * @description: * 注意 * - 找隐式值的时候, 只看类型, 不看变量的名字 * * - 在作用域内, 只能有一个同类型的隐式值 * * - 一个隐式参数列表内, 如果有多个参数, 则这些...
2020-04-27 22:27:33
170
原创 Scala两种递归方式（尾递归和普通递归）实现 n!
package com.zhengkw.scala.day06Exc/** * @ClassName:Stratum1 * @author: zhengkw * @description: * @date: 20/04/27下午 6:46 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object Stratum1 { d...
2020-04-27 19:50:54
571
原创 scala中的内部类初识
object InnerDemo1 { def main(args: Array[String]): Unit = { val outer1 = new Outer val inner1 = new outer1.Inner val outer2 = new Outer val inner2 = new o...
2020-04-27 00:09:16
232
原创 Scala中的类型判断与强转
object Extra1 { def main(args: Array[String]): Unit = { val a:A = new B // java中判断类型: a instanceof B if (a.isInstanceOf[B]) { // 判断a是否为B的对象 val b = a.asInsta...
2020-04-26 23:59:10
864
原创 scala中trait注意事项
前言在scala中的抽象类能有的成员, 那么特质（trait）都可有属性方法抽象属性抽象方法构造器(主/辅)与抽象类的区别抽象类只能单继承，trait可以多混入！class A extends t1 with t2 with t3...叠加冲突由于一个类可以混入（mixin）多个trait，且trait中可以有具体的属性和方法，若混入的特质中具有相同的方法（方法名，参数...
2020-04-26 23:33:23
251
原创 Scala中apply方法的应用
前言scala作为面向对象语言，有很多独特的黑科技，下面介绍一个黑科技用法！将对象当做函数来进行调用！下面通过一些案例来进一步阐述这个用法！codepackage com.zhengkw.single/** * Author zhengkw * Date 2020/4/25 10:37 */object ApplyDemo1 { def main(args: Array[...
2020-04-26 22:05:47
682
原创 Scala中的单例对象、伴生对象和伴生类
单例对象这个是scala提供的！object 对象名{ // 也可以写代码 def main(args: Array[String]){ // 入口 }}继承了Apptraitobject Hello extends App { println("Hello, World!")}伴生类和伴生对象一个scala文件中如果有名字相同的cl...
2020-04-26 20:53:11
545
原创 Scala中类型推断注意事项
前言Scala 编译器通常可以推断出表达式的类型，因此你不必显式地声明它。The Scala compiler can often infer the type of an expression so youdon’t have to declare it explicitly.编译器从不推断方法形式参数的类型。 但是，在某些情况下，当函数作为参数传递时，编译器可以推断出匿名函数形式...
2020-04-26 20:26:57
329
dbeaver-ce-7.1.0-x86_64-setup.rar
2020-06-01
typora-setup-x64-0.9.86.rar
2020-05-26
Git-2.26.0-64-bit-windows.rar
2020-04-16
dbeaver-ce-7.0.2-x86_64-setup.exe+hive驱动
2020-04-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人