Ljng77-CSDN博客

原创 kafka和ZK的关系

kafka与zookeeper：一个典型的Kafka集群中包含若干Produce，若干broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布1)Producer端直接连接broker.list列表,从列表中返回TopicMetadataResponse,该M.

2021-11-05 15:49:32 320

原创 kafka安装部署

你可以登录Apache kafka 官方下载。http://kafka.apache.org/downloads.html备注：2.11-1.1.0版本才与JDK1.7兼容，否则更高版本需要JDK1.8Step 2: 启动服务运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper（PS：在kafka包里）。//这是前台启动，启动以后，当前就无法进行其他操作（不推荐）./zooke

2021-10-29 18:49:16 168

原创 Sqoop的基本操作

导入数据导入到HDFS// \代表在shell窗口中换行bin/sqoop import \// 连接的url--connect jdbc:mysql://hadoop102:3306/mydb \// 用户名--username root \// 密码--password 123456 \// 要导哪个表的数据--table staff \// 将数据导入到hdfs的哪个路径--target-dir /company \// 如果目标目录存在就删除--delete-targe

2021-10-22 20:36:38 496

原创 mysql数据库的权限

mysql数据库的权限（1）mysql数据库用户权限级别 1）全局性管理权限：作用于整个mysql实例级别 2）数据库级别：作用于指定的某个数据库上或者所有数据库上 3）数据库对象级别权限：作用于指定的数据库对象上（表或者视图）（2）mysql数据库用户权限权限名称权限说明All/All Privileges全局或者全数据库对象级别的所有权限Alter修改表结构的权限，但必须要求有create和insert权限配合...

2021-10-15 16:02:50 2651

原创 Python基础

（1）打开csv文件import pandas as pddf=pd.read_csv(r’data/data.csv’)（2）dataframe index 重新排序data=df.sort_index(axis=0,ascending=False)（3）dataframe 按照某一列进行升序或者降序排列data=df.sort([‘date’],ascending=True升序，False降序)（4）dataframe 的index重新从0开始data=data.reset_index(drop=Tru

2021-09-28 08:54:26 109

原创 Linux常用命令及用法

系统信息arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info的信息cat /proc/interrupts 显示中断cat /proc/meminfo 校验内存使用...

2021-09-18 14:41:48 88

Ljng77的博客