大不列颠岛主-CSDN博客

原创 Linux-centos7安装mysql5.7

Linux-centos7安装mysql5.71.下载、安装mysql.rpm安装包首先需要安装wget组件：yum -y install wget下载mysql.rpm安装包：wget https://dev.mysql.com/get/mysql80-community-release-el7-5.noarch.rpm安装mysql.rpm安装包：rpm -Uvh mysql80-community-release-el7-5.noarch.rpm2.配置mysql安装服务yum

2022-03-29 15:53:08 781

原创数据采集——爬虫篇(三)：selenium+Chrome实现自动化测试---爬取数据

数据采集——爬虫篇(三)：selenium+Chrome实现自动化测试—爬取数据.1.selenium环境安装部署首先安装Chrome谷歌浏览器查看设置系统版本：然后下载Chrome对应的webdriver地址：http://npm.taobao.org/mirrors/chromedriver/选择对应版本，我的版本是83.0.4103.97：注：基本没有完全对应的版本，选择与当前版本最接近的即可根据操作系统不同，选择对应驱动（剪头选择为Windows）：下载解压并复制到chro

2021-02-22 10:45:32 2334 4

原创数据采集——爬虫篇(二)：美食信息采集

数据采集——爬虫篇(二)：美食信息采集.1.分析美食网页的url参数构成美食，地址：北京，搜索关键词：火锅url：https://bj.*******.com/s/%E7%81%AB%E9%94%85/url会有自动编码中文功能所以火锅=%E7%81%AB%E9%94%85通过关键词城市的url构造，解析当前url中的bj=北京，/s/后面跟搜索关键词这样我们就可以了解到当前url的构造。

2020-06-09 16:15:52 3628 4

原创爬虫进阶——视频抓取(视频加密分割案例)中国职业培训在线网

爬虫进阶——视频抓取(视频加密分割案例)中国职业培训在线网.1.分析网页视频存储形式以及加密格式一般我们在进行视频采集视频多为：https:www.baidu.com/1.mp4 指向一个视频文件，然而在大多数网站中，现在主流的视频加密格式多为分割为几百个小片段，伴随不断播放而不断加载新的片段，针对中国职业培训在线视频网的视频举例：http://www.ataclass.cn/player/index/index?guid=0FD6828C-6B69-4E87-92BA-C9C065EF124B&

2020-06-05 14:15:31 1320

原创数据采集——爬虫篇(一)：豆瓣电影TOP250详细信息采集

数据采集——爬虫篇(一)：豆瓣电影TOP250详细信息采集.1.分析豆瓣url换页变化打开https://movie.douban.com/top250?start=0&filter=来到豆瓣主页此处可以观察到电影是在第1个序号开始的，暂时记住url，观察后续变化切换第二页，发现url变化：https://movie.douban.com/top250?start=25&filter=第二页如下：**url第一页：https://movie.douban.com/to

2020-06-05 10:26:08 21044 5

原创大数据组件Logstash日志采集和filebeat采集日志与数据库交互（1+x证书方向）

大数据组件Logstash日志采集和filebeat采集日志与数据库交互（1+x证书方向）.一、logstash的应用安装与部署.1.logstash的应用 logstash作为日志采集，转换工具，是ETL的一部分，Logstash 的作用就是一个数据收集器，将各种格式各种渠道的数据通过它收集解析之后格式化输出到Elasticsearch ，最后再由Kibana 提供的比较友好的Web 界面进行汇总、分析、搜索。.2.logstash的安装首先准备logstash的压缩包：logs

2020-06-04 16:25:05 1597 1

原创 Django+python服务器部署——(1)环境部署

**Django+python服务器部署——(1)环境部署**需要准备环境:python3.6、vultr(或者其他服务器)、xshell第一步：python安装必备环境Django库Xshell链接远程主机：点击连接之后：弹窗输入访问用户及密码，一般为root用户成功连接到目标服务器：[root@vultr ~]# 安装python以及需要环境(此为安装完python3...

2020-03-28 10:33:30 771

dbldwang的博客