qq_53320067的博客

TCPDUMP学习记录tcpdump提供了一系列命令，用于抓取网络层的数据，进行分析和问题定位。由于在linux环境下没有合适的图形化界面软件进行数据的分析，一般采用tcpdump抓取网络层数据，然后将数据文件导入Wireshark(一个网络数据分析工具)进行分析安装tcpdump[root@hadoop104 ~]# yum install tcpdump#截获某IP的主机的网络数据包tcpdump host 192.168.0.120#抓10万个包，存在test.txt文件里，-n的

kafka学习记录—Kafka-Eagle监控安装MySQL略kafka环境关闭kafka集群修改内存，一个G不够[root@hadoop101 bin] vim kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis

概述：远程字典服务。提供多种语言的API，用处：内存存储、持久化，内存中是断电即失（持久化重要，rdb，aof）效率高，高速缓存发布订阅系统地图信息分析计时器、计数器特性多样的数据类型持久化集群事务学习官网：https://redis.io/安装官网下载解压[root@hadoop100 soft]# ll总用量 4drwxr-xr-x. 9 root ro

kafka学习记录—BrokerBroker工作流程zookeeper存储的kafka信息启动zookeeper[root@hadoop103 bin] ./zkCli.sh WATCHER::WatchedEvent state:SyncConnected type:None path:null[zk: localhost:2181(CONNECTED) 0] #查看信息[zk: localhost:2181(CONNECTED) 2] ls /[kafka, zookeep

kafka学习记录—生产者生产经验—生产者如何提高吞吐量生产流程：生产者将数据发送到缓冲区，内有producer，拦截器，序列化器，分区器（将在缓冲区分区），通过send线程读取数据发送到broker（默认每个分区缓存几个请求），kafka应答acks给Selector。原始：一次拉取一个货物，效率低。改进：一次拉取16k货物，效率变高；在缓冲区等待时间变长，第一批货物到broker时间变久。batch.size：批次大小，默认16klinger.ms：等待时间，修改为5-100m

整体进展下载插件创建目录解压kafka，修改三台集群配置文件添加kafka环境变量下载hadoop，添加环境变量ssh登录启动zookeeper，修改zookeeper配置信息编写zk.sh脚本编写测试xsync脚本，分发kafka成功topic命令操作，增加主题，查看详情信息生产者、消费者实战操作（发送数据、接收数据）主要问题创建主题时报错超时，未能创建成功，查阅资料后发现将端口号弄混，在配置文件中未设置listeners，则命令操作主机名对应的端口号默认为9092..

Linux学习—安装docker并制作镜像提交到Dockerhub安装docker出现的问题更新yum后，添加yum仓库[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LzyMP0au-1650361309681)(C:\Users\QIYOU\AppData\Roaming\Typora\typora-user-images\image-20220414153620322.png)]安装dockeryum install -y docker-engine出

Linux安装MySQL出现的问题rpm -qa | grep mysql没有响应，原因：没有可用的软件包mysql-server下载包：wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm升级安装包rpm -ivh mysql-community-release-el7-5.noarch.rpm安装服务成功mysql-community-server.x86_64 0:5.6.51-2.el7