- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kafka 命令行 生产消费数据，查看偏移量，修改偏移量，修改数据保留时间
kafka 命令行 创建topic 查看topic详情 生产消费数据，查看偏移量，修改分区偏移量（多方法），修改分区数量1.知识点1）Topic相关：创建Topic、删除Topic、查看Topic列表、查看Topic详细信息2）生产者相关：往某个Topic中生产数据3）消费者相关：从某个Topic中消费数据4）消费组（group）相关：查看消费者group、查看消费者消费情况（消费至那个offset/积压数据量多少）5）修改topic下某个消费者（groupid）所有分区或某个分区的offse
2020-09-27 18:52:52
21211
3
原创 Sql同一表中判断两个字段值是否相等
test 表中有相同类型a b两个字段1)选择出a 字段值等于b字段值的记录select * from test where a=b；2)选择a字段值不等于b字段值的记录select * from test where a ！=b；
2020-09-25 14:36:37
20759
6
原创 kettle 转换命名参数从将上一转换的参数传递到下一转换中
kettle 转换命名参数从将上一转换的参数传递到下一转换中1.知识点1）如何将转换中的行记录传递到job（结果）中。2）如何使用转换的命名参数功能获取到上一转换中的参数。2.需求及实现1）需求： 如下图所示在转换1中将转换中的结果值传递到作业中，通过转换2的转换命名参数设置接收来自job中的值并将其设置为参数传递到转换2的内部。2）实现：实现将转换1中的结果值从转换传递到job中。从表输入中获取值，通过组件复制记录到结果将表输出查询到的结果发送到job作业流中。通过转换
2020-09-18 20:43:27
6156
原创 Kettle环境中的参数传递
Kettle环境中的参数（全局/局部参数）传递1.知识点1）kettle中参数类型 kettle开发中的参数可分为全局参数和局部参数，不同的参数类型采用不同参数传递方式。2）不同的参数类型如何使用 全局参数一般只在临时调试中使用，以为全局参数存储在kettle用户的kettle.properties文件中，运行依赖于kettle.properties文件，一般使用在所有开发流程都需要设置同样的参数时使用。 局部参数在kettle流程的开发中使用较多，主要的传递方式分为“设置变量/获取
2020-09-18 18:00:42
5976
原创 JavaScript将unix时间戳转为正常时间类型
JavaScript将unix时间戳转为正常时间格式1.知识点1）什么是unix时间戳1）如何使用JavaScript将unix时间戳转换为正常的时间格式2.实现1）什么是unix时间戳表示为自1970年1月1日零点起到当前时刻的秒数(长度为10)# 举例 2020/9/17 17:50:19# 精确到秒的时间戳，长度为10位的long或者bigint类型 1600336219 # 举例 2020/9/17 17:50:19# 精确到毫秒秒的时间戳，长度为13位的long或者b
2020-09-17 18:12:07
2045
原创 Python3 使用executemany()、extras和to_sql()三种方法分别实现批量数据写入postgressql数据库中
Python3 使用executemany()、extras和to_sql()三种方法分别实现批量数据写入postgressql数据库中1.知识点1）使用psycopg2模块的executemany()方法实现批量写入数据到postgresql数据库中2）使用psycopg2模块的extras实现批量写入数据到postgresql数据库中3）使用sqlalchemy模块的to_sql()方法实现批量写入数据到postgresql数据库中2.各个方法的实现1）使用psycopg2模块的execut
2020-09-05 17:19:37
2532
原创 Python3 使用psycopg2模块 批量写入数据到PostgreSQL数据库(最强输出速度，单机数据库3000W数据写入最多180秒)
Python3 使用psycopg2模块 批量写入数据到PostgreSQL数据库(最强输出速度，单机数据库3000W数据写入最多3分钟)1.本文知识点1）将string或者list类型的数据转换为IO缓冲区中的str类型(指定格式)2）利用PostgreSQL中的copy_from 和copy_to函数将IO缓冲区中的str类型数据写入数据库中。2.使用方法1）写入数据类型为list时'''功能:将list数据类型多条记录一次写入数据库中数据示例：[[1, 2, 3, 4, 5, 6, 7
2020-09-05 13:12:14
4410
2
原创 Linux下安装配置Ftp服务器
Linux环境中安装配置FTP服务1.安装Vsftpd服务1）查看Linux环境中是否已经存在安装的ftp# 查看并显示安装的版本号，没有安装则不显示rpm -qa|grep vsftpd2）如果存在已经安装的Vsftpd服务，则先卸载Vsftpd# 卸载1）中查找到的Vsftpdrpm -e vsftpd***3）删除Vsftp的相关文件（默认/etc/vsftpd文件下）rm -rf /etc/vsftpd/2.创建Linux（ftp）用户，并指定ftp用户可访问的文件夹1）
2020-09-02 22:59:23
276
原创 Linux下安装单节点kafka
Linux下单节点kafka的安装官网下载地址http://kafka.apache.org/downloads1.查看Linux防火墙firewall-cmd --state2.解压kafka到想要安装的Linux目录下tar zxvf kafka_2.11-2.3.0.tgz /opt/kafka3.启动Zookeeper和kafka启动zookeeper1 cd /opt/kafka2 #执行启动脚本3 ./bin/zookeeper-server-start.sh
2020-09-02 22:58:31
377
原创 Kafka版本介绍、安装、常用命令、概念理解
Kafka版本介绍、安装、常用命令、概念理解1.启动一个kafka服务需要做什么1）kafka 官网下载二进制版本的kafka安装包http://kafka.apache.org/downloads2）解压到需要安装kafka的linux目录下3）修改/conf目录下的配置文件# 在配置文件server.properties中增加以下配置，删除Topic时才会真实的删除TOPic，否则只标记为删除，不做任何操作delete.topic.enable=true# 修改以下配置为kafka数据
2020-09-02 22:57:11
302
原创 Python 实现MD5加密算法对文件加密 返回加密MD5值
Python 实现MD5加密算法对文件加密 返回加密MD5值1.本文知识点：使用Python 实现MD5加密算法对文件内容的加密 返回加密MD5值可用于文件传输前和接收时的校验文件内容是否丢失，文件传输前将文件内容加密为MD5值，将MD5作为文件名传输，接收时再次加密文件内容为MD5值，比较接收到的文件名和接收时文件内容的加密MD5是否相等，以此判断文件内容是否在传输过程是存在丢失的现象2.使用方法1）安装hashlib模块pip install hashlib2)在Python代码中实
2020-09-02 22:48:13
1095
原创 Kettle中使用JavaScrip调用jar包对文件内容进行MD5加密
Kettle中使用JavaScript调用jar包对文件内容进行MD5加密1.本文主要知识点：JavaScript调用jar包对文件内容进行MD5加密，返回加密md5值Kettle实现对文件内容的加密，返回加密md5值2.使用方法1）下载jar包https://download.csdn.net/download/ispringmw/128009742）将jar包导入Kettle的lib目录下3）重启Kettle Spoon.bat,使得kettle加载到新加入的jar包，下图为在k
2020-09-02 22:34:59
2210
3
原创 在Java代码中使用jar包实现对文件加密MD5
在Java代码中使用jar包实现对文件加密MD51.下载jar包，导入jar包到项目依赖库中https://download.csdn.net/download/ispringmw/128009742.使用如下Java代码调用jar包中的方法打印的结果即为文件内容的MD5加密值import com.kettle.filemd5hash.MD5Util;public class runfilemd5 { public static void main(String arg[]) {
2020-09-02 22:18:49
1261
1
原创 Kettle下载Redisinput插件查询Redis数据
Kettle下载Redisinput插件查询Redis数据安装插件1）下载Redisinput插件https://gitee.com/jekey/kettle-redis-input-plugin2）将完整插件包复制到Kettle目录的plugins目录下[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HcwoO879-1599053996582)(C:\Users\limingwei6\AppData\Roaming\Typora\typora-user-imag
2020-09-02 21:43:27
2274
4
原创 Linux 下Redis的安装、测试
Linux 下单机Redis的安装验证gcc-c++环境redis使用c语言开发，所以要运行在linux上，需要gcc-c++的环境1)检查是否有gcc-c++环境:rpm -qa | grep gcc-c++2)如果没有进行安装:yum install gcc-c++yum -y install cpp binutils glibc glibc-kernheaders glibc-common glibc-devel gcc make gcc-c++ libstdc++-devel tcl
2020-09-02 18:56:51
425
Kettle Redis input 插件
2020-10-02
filemd5hash.jar
2020-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人