- 博客(25)
- 收藏
- 关注
RSS订阅原创 爬取猫眼top100并存入mysql-8.0（executemany方法）
'''1、查看所抓数据在响应中是否存在右键->查看网页源代码->搜索关键字2、查找并分析url地址规律第1页：https://www.maoyan.com/board/4?offset=0第2页：https://www.maoyan.com/board/4?offset=10第n页：https://www.maoyan.com/board/4?offset=(n-1)*103、编写正则表达式4、定义程序结构，完善程序'''#书写正则表达式'''<div class=
2021-11-25 17:35:23
251
原创 Python爬取猫眼电影top100
1、代码如下，存入本地csv文件'''1、查看所抓数据在响应中是否存在右键->查看网页源代码->搜索关键字2、查找并分析url地址规律第1页：https://www.maoyan.com/board/4?offset=0第2页：https://www.maoyan.com/board/4?offset=10第n页：https://www.maoyan.com/board/4?offset=(n-1)*103、编写正则表达式4、定义程序结构，完善程序'''#书写正则表达式'
2021-11-25 14:05:47
1497
原创 使用系统脚本将kafka，zookeeper加入开机自启
1、kafka配置文件vim /lib/systemd/system/kafka.serviceDescription=Apache Kafka server (broker)After=network.target zookeeper.service[Service]Type=simple##系统环境变量：echo $PATHEnvironment="PATH=/usr/local/java/jdk1.8.0_141/bin:/usr/local/sbin:/usr/local/bin:
2020-12-02 11:06:27
233
原创 独家秘制的clickhouse集群搭建
clickhouse集群搭建1、安装软件添加官方存储库sudo yum install yum-utils -ysudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG -y sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64 -y安装软件包sudo yum install clickhouse-server
2020-11-30 19:57:26
214
原创 zookeeper搭建文档
标题 :zookeeper搭建文档目录 :服务搭建记录 / 大数据环境部署序号 :99echo 3 > /data/zookeeper-3.4.5-cdh5.14.0/zkdatas/myid## 3. 添加环境变量- 添加到hadoop目录下 .bashrc中：```shellexport ZOOKEEPER_HOME=/data/zookeeper-3.4.5-cdh5.14.0export PATH=$PATH:$ZOOKEEPER_HOME/bin4. 启动，
2020-11-30 19:55:43
158
原创 hadoop服务搭建
hadoop服务搭建1、环境准备1.1、四台机器关闭selinux --重要vim /etc/selinux/config[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t2BSAdie-1606737188979)(http://192.168.8.10:4999/server/…/Public/Uploads/2019-12-03/5de62d7d5df87.png)]1.2、四台机器更改主机名vim /etc/hostname[外链图片转存失败,源站可能有
2020-11-30 19:54:49
197
原创 独家秘制的kafka环境搭建
kafka环境搭建1）解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C /data/2）修改解压后的文件名称ln -s kafka_2.11-0.11.0.0/ kafka3）在/opt/module/kafka目录下创建logs文件夹mkdir /data/kafka/kafkaData4）修改配置文件 cd config/ vi server.properties输入以下内容：#broker的全局唯一编号，不能重复broker.id=0
2020-11-30 19:53:43
98
原创 rpm方式安装zabbix-proxy
1、下载zabbix-proxy的rpm包在清华源下载（版本自定，跟zabbix-server同版本）###同时安装依赖yum localinstall -y zabbix-proxy-mysql-4.4.7-1.el7.x86_64.rpm##卸载mariadb5.5rpm -qa |grep mariadb | xargs yum remove -y###安装mysql-5.7数据库配置mysql的repo源yum install mysql-community-server2、z
2020-11-25 15:28:11
721
原创 批量操作多台机器的密钥登录
批量操作多台机器的密钥登录一、添加使用密钥登录方式1、给每台服务器追加公钥ansible all -i ~/deployment/newhost -m lineinfile -a 'path=~/.ssh/authorized_keys state=absent line="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC7erPXOFSnREjSdTIB6i4FF0MwAzDwqh0mkmZy5u90QqAIwRtRDJk4gkNDiQob9X1YgNL3VOkMt
2020-11-04 14:55:42
315
原创 node部署
1、访问https://nodejs.org/dist/2、下载执行版本 xxxx.64.tar.gz3、解压 cd /node/bin/node -v4、vim /etc/profile#set for nodejsexport NODE_HOME=/wutong/nodeexport PATH=NODEHOME/bin:NODE_HOME/bin:NODEHOME/bin:PATH
2020-09-21 15:52:08
114
原创 logstash日志切割
mkdir /etc/logrote.daily/ -pvim nginx_accessroot@ubuntu:/etc/logrotate.daily.0# cat nginx_access/var/log/nginx/access.log {daily #按天切割日志missingok #忽略错误rotate 7 #文件保留7天compress #压缩文件delaycompress #延迟一天压缩文件dateext #以日期为单位 默认-%Y%m%dnotifempty #空
2020-09-21 15:50:45
1125
原创 docker部署jenkins
1、mkdir /data/jenkins-data2、docker run -u root -d -p 8080:8080 -p 50000:50000 -v /data/jenkins-data:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock jenkinsci/blueocean3、浏览器访问公网ip:8080cat /data/jenkins-data/secrets/initialAdminPass
2020-09-21 15:50:09
104
原创 jenkins简单部署
1.安装jenkins，自己有包。还可以拉取jenkins镜像2. 安装jdk-8u181（java）的包3.修改用户（root）-- vim /etc/sysconfig/jenkinsJENKINS_USER=‘root’4.重启jenkins5.网页登陆jenkins 10.0.0.10：80806.复制上面的文件进入-跳过插件安装-点击admin用户继续-现在不要配置7.创建swap分区命令dd if=/dev/zero of=/home/swap bs=1024 count=209
2020-09-21 15:49:33
183
原创 ice搭建部署
https://doc.zeroc.com/ice/3.7/release-notes/using-the-linux-binary-distributions#id-.UsingtheLinuxBinaryDistributionsv3.7-Bi-ArchSupportonRHEL7EL7yum install https://zeroc.com/download/ice/3.7/el7/ice-repo-3.7.el7.noarch.rpmsudo yum install ice-all-runt
2020-09-21 15:48:43
253
原创 filebeat+kafka（windows）
##windows版1、下载filebeat包，解压到指定目录2、编写filebeat.yml配置文件filebeat.inputs:/- type: logenabled: truepaths:- C:\Users\yuantong\Desktop\wutong*.logoutput.kafka:enabled: truehosts: [“192.168.10.112:9092”]topic: test1##去除无用字段信息processors:/- drop_fields:
2020-09-21 15:48:03
389
原创 docker部署文档
1、yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine2、安装基础命令yum install -y yum-utils device-mapper-persistent-data lvm23
2020-09-21 15:46:26
177
原创 logstash+kafka
logstash+kafka1、编译安装logstash，进入目录2、cd到/logstash/config/3、vim error.confinput {file {path => [ “/wutong/error.log” ] ###日志存放目录type => “Active”start_position => “beginning”}}filter{mutate{remove_field => [“host”]remove_field =&g
2020-09-21 15:45:23
500
原创 三剑客-awk
1.概念介绍模式识别和脚本编写执行原理：按行处理文件信息，根据匹配条件信息，完成相应操作语法结构：awk [参数] ‘模式信息条件）{动作}’ 文件信息2.awk使用方法练习题：显示xiaoyu的姓氏和号码a 根据行号信息进行处理awk ‘NR=2{print$1,$3}’ awk.testb 根据指定信息进行处理awk ‘$2~/xiaoyu/{print$1,$3}...
2019-11-10 16:51:27
139
原创 三剑客-sed
1.概念介绍作用说明: stream editor for filtering and transforming text文件处理编辑命令原理过程: 按照文件每行信息进行处理, 找出符合条件信息, 执行相应操作语法结构: sed [参数] ‘条件 指令操作’ 文件信息2.sed命令使用方法准备环境：cat >person.txt<<EOF101,oldboy...
2019-11-05 23:48:12
158
原创 vim使用方法
一、命令模式1.快速移动光标位置shift+g/G-----快速移动光标到最后一行gg----快速移动光标到首行200G/300G-------快速移动光标到指定行home------快速移动光标到一行的行首end -------快速移动光标到一行的行尾2.特殊操作技巧u-----撤回操作ctrl+r----取消撤回3.快速编辑文件内容方法yy-----进行一行内容快速复制...
2019-11-05 17:18:21
127
原创 /usr和/var下的重要文件
1.安装软件方法系统安装软件方法第一种：利用yum命令安装特点：下载软件并安装yum install -y vim第二种：利用rpm命令安装软件官网下载软件程序-安装软件特点：需要解决软件依赖关系下载过程：wgethttps://mirrors.aliyun.com/centos/7.7.1908/os/x86_64/Packages/vim-enhanced-7.4.629...
2019-10-27 13:38:13
205
原创 /proc（进程文件/内核文件）
1.cpu系统管理信息：资产管理cpu信息查看： cat /proc/cpuinfophycical id :0 -----服务器上有几颗cpuprocessor :0 -----服务器cpu核心数uniq ------unique（独特的）把连续相同的数据信息合并输出| ------管道符号：将前一个命令执行结果通过管道符号交给后面的命令进行再次处理w...
2019-10-27 13:20:15
278
原创 Linux操作系统优化
1.准备工作① 查看系统内核：cat /etc/redhat-release② uname -a2.系统用户优化部分1.如何创建用户useradd tong2.如何创建密码方法一：利用root用户设置密码------passwd tong方法二：利用普通用户自己设置密码------切换到普通用户 passwd方法三：批量修改密码单用户免交互修改密码echo 123456 | ...
2019-10-27 12:48:35
333
原创 /etc下的重要文件信息
1.第一个重要文件：ifcfg-eth0文件作用说明：网络服务配置文件文件保存路径：/etc/sysconfig/network-scripts/ifcfg-eth0配置文件生效方法：法一：重启网络服务systemctl restart network异常问题a 配置文件有错误b networkManager有冲突法二：针对不同网卡进行重启操作①ifdown eth0；ifup...
2019-10-27 11:47:42
450
原创 使用方法
欢迎使用Markdown编辑你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验...
2019-10-27 09:54:48
1624
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人