- 博客(24)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 centos6的kibana7.1无法启动报错 FATAL Error: /lib64/libc.so.6: version `GLIBC_2.14' not found 升级glibc的问题处理...
centos6的kibana7.1无法启动报错 FATAL Error: /lib64/libc.so.6: version `GLIBC_2.14' not found 升级glibc的问题处理系统：centos6.10_x86_64# kibana启动不了，报错：[root@:~]# tail -f /var/log/kibana/kibana.stderr FATAL Error: /...
2019-07-29 17:50:00
1656
原创 从0开始学爬虫12之使用requests库基本认证
从0开始学爬虫12之使用requests库基本认证此处我们使用github的token进行简单测试验证# coding=utf-8import requestsBASE_URL = "https://api.github.com"def construct_url(endpoint): return '/'.join([BASE_U...
2019-07-23 11:53:00
138
原创 从0开始学爬虫11之使用requests库下载图片
从0开始学爬虫11之使用requests库下载图片# coding=utf-8import requestsdef download_imgage(): ''' demo: 下载图片 ''' headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Appl...
2019-07-23 11:45:00
81
原创 从0开始学爬虫10之urllib和requests库与github/api的交互
urllib库的使用# coding=utf-8import urllib2import urllib# htpbin模拟的环境URL_IP="http://10.11.0.215:8080"URL_GET = "http://10.11.0.215:8080/get"def use_simple_urllib2(): response = u...
2019-07-23 11:36:00
154
原创 从0开始学爬虫9之requests库的学习之环境搭建
从0开始学爬虫9之requests库的学习之环境搭建Requests库的环境搭建环境：python2.7.9版本参考文档：http://2.python-requests.org/zh_CN/latest/httpbin.org可以模拟http服务器，速度较慢，可以按照插件模拟http服务器pip install gunicorn httpbingunnicorn不支持wi...
2019-07-23 11:33:00
118
原创 python读取pdf文档
python读取txt# coding=utf-8import requests# 爬虫规则url = "https://en.wikipedia.org/robots.txt"# 读取网络资源res = requests.get(url).text# 打印print(res)读取pdf# coding=utf-8from pdfmi...
2019-07-23 11:10:00
524
原创 centos7设置rsyslog日志服务集中服务器
centos7设置rsyslog日志服务集中服务器环境：centos6.9_x86_64，自带的rsyslog版本是7.4.7，很多配置都不支持，于是进行升级后配置# 安装新版本的rsyslog程序wget http://rpms.adiscon.com/v8-stable/rsyslog.repomv rsyslog.repo /etc/yum.repos.d/rsyslog.repoy...
2019-07-19 15:06:00
901
原创 从0开始学爬虫8使用requests/pymysql和beautifulsoup4爬取维基百科词条链接并存入数据库...
从0开始学爬虫8使用requests和beautifulsoup4爬取维基百科词条链接并存入数据库Python使用requests和beautifulsoup4爬取维基百科词条链接并存入数据库参考文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/# 安装 beautifulsoup4(pytools) D:\...
2019-07-17 11:47:00
263
原创 从0开始学爬虫7之BeautifulSoup模块的简单介绍
参考文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/# 安装 beautifulsoup4(pytools) D:\python\pytools>pip install beautifulsoup4# coding=utf-8from bs4 import BeautifulSoup a...
2019-07-17 11:45:00
118
原创 python脚本使用源码安装不同版本的python
# coding=utf-8import osimport sys# 判断是否是root用户if os.getuid() == 0: passelse: print('当前用户不是root用户，请以root用户执行脚本') sys.exit(1)version = raw_input('请输入您想安装的python版本(2.7/...
2019-07-15 14:43:00
105
原创 python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图...
python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图# coding=utf-8from openpyxl import load_workbookfrom openpyxl.chart import ( AreaChart, Reference)import MySQLdbclass Gaoka...
2019-07-15 11:32:00
417
原创 python制作简单excel统计报表2之操作excel的模块openpyxl简单用法
python制作简单excel统计报表2之操作excel的模块openpyxl简单用法# coding=utf-8from openpyxl import Workbook, load_workbookfrom openpyxl.drawing.image import Imagefrom openpyxl.styles import Font,colorsfrom d...
2019-07-15 10:57:00
279
原创 python制作简单excel统计报表1之with的简单用法
# coding=utf-8def open_file(): """使用with打开一个文件""" # 普通操作文件方法 # f = open('./static/hello.txt', 'r', encoding='utf-8') # rest = f.read() # print(rest) # f.close()...
2019-07-15 10:56:00
502
原创 简单爬虫爬取知乎日报并保存日报网页到本地
知乎日报爬虫# coding=utf-8import requestsfrom lxml import htmldef spider_zhihudaily(): url = "http://daily.zhihu.com/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64...
2019-07-13 11:19:00
592
原创 从0开始学爬虫6比价工具开发2之图书信息汇总
当当的数据 spider_dangdang.py # coding=utf-8 import requests from lxml import html def spider(sn, book_list=[]): """爬取当当网的数据""" url =...
2019-07-10 10:25:00
272
原创 从0开始学爬虫6比价工具开发1之爬取当当、京东的数据
从0开始学爬虫6比价工具开发1之爬取当当、京东的数据爬取当当数据spider_dangdang.py#coding=utf-8import requestsfrom lxml import htmldef spider(sn): """爬取当当网的数据""" url = 'http://search.dangdang.com/?key={sn}&...
2019-07-08 19:14:00
504
原创 从0开始学爬虫5之优雅的使用字符串
从0开始学爬虫5之优雅的使用字符串用%格式化字符串%格式化基本语法：%[转换标记][宽度[.精度]]转换类型Format方式格式化字符串基本语法：[[填充符]对齐方式][符号][#][0][宽度][,][.精确度][转换类型]字符串格式化举例04use_str.py#coding=utf-8def format_str(): """...
2019-07-08 15:24:00
156
原创 从0开始学爬虫4之requests基础知识
从0开始学爬虫4之requests基础知识安装requestspip install requestsget请求：可以用浏览器直接访问请求可以携带参数，但是又长度限制请求参数直接放在URL后面POST请求：不能使用浏览器直接访问对请求参数的长度没有限制可以用来上传文件等需求requests常用方法示例 use_requests.py#coding=utf-8imp...
2019-07-08 15:10:00
121
原创 从0开始学爬虫3之xpath的介绍和使用
从0开始学爬虫3之xpath的介绍和使用Xpath：一种HTML和XML的查询语言，它能在XML和HTML的树状结构中寻找节点安装xpath:pip install lxmlHTML超文本标记语言(HyperText Mark-up Language)，是一种规范，一种标准，是构成网页文档的主要语言URL统一资源定位器(Uniform Resource Locator)...
2019-07-08 11:58:00
167
原创 从0开始学爬虫2之json的介绍和使用
从0开始学爬虫2之json的介绍和使用Json一种轻量级的数据交换格式，通用，跨平台键值对的集合，值的有序列表类似于python中的dictJson中的键值如果是字符串一定要用双引号json文件static/book.json{ "name": "Python书籍", "origin_price": 66, "pub_...
2019-07-08 11:49:00
134
原创 从0开始学爬虫1之环境搭建篇
从0开始学爬虫1之环境搭建篇安装python3.6版本下载地址https://www.python.org/downloads/设置环境变量：安装pycharm使用pycharm创建基于python3.6的虚拟环境，即相对独立的开发环境这时候pytcharm就会去安装一些基础的包Location: 本地代码存放的目录New environment usi...
2019-07-08 11:38:00
142
原创 ansible常用的方法小结
一、批量安装zabbix客户端1.拷贝sh脚本和.conf到远程服务器(也可以全量拷贝客户端)ansible all -m copy -a "src=/usr/local/zabbix_agents_3.2.0/scripts/php_status_code.sh dest=/usr/local/zabbix_agents_3.2.0/scripts/ mode=0755"...
2019-07-03 11:21:00
196
原创 centos7.6下编译安装zabbix4.0.10长期支持版
一、安装数据库，这里使用的是percona-server5.7.24版本配置如下[root@zabbix4_clone:~]# cat /etc/my.cnf# Example MySQL config file for medium systems.# 8核 16G# This is for a system with little memory (16G) wher...
2019-07-01 16:36:00
470
产品安全之道 安全测试理论与实践
2012-08-07
PHP 面向对象技术(全面讲解)
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人