![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析及数据库
muzhe1024
积习若改,时光不负
展开
-
gzip和deflate的区别
我们在配置网站GZip压缩的时候,会发现有两个模块可以设置的,一个是GZip模块的参数配置,另一个是Deflate模块的参数配置,他们的设置方法是一样的。刚开始时我不太明白,这两地方有什么不同?网站开启GZip压缩要设置GZip模块还是Deflate模块?今天通过参考了相关的资料,明白了他们之间的几点区别。gzip和deflateHTTP定义了一种机制,一个Web客户机和Web服务器同意一压缩...转载 2018-12-22 19:21:50 · 16948 阅读 · 0 评论 -
smtp+ mail写邮件(爬虫准备)
coding:utf-8import smtplibfrom email.mime.text import MIMEText as mtextfrom email.header import Headermail_host = “smtp.sohu.com”host_user = "muzhe1024@sohu.com"host_password = “************”fo...原创 2018-12-28 12:46:00 · 327 阅读 · 0 评论 -
初级爬虫(一) requests模块实现网页批量图片爬取
思路分析:已知网页:如http://www.jiangxian.gov.cn/N20180821093426.html1, 检查网页分析网页中图片的地址形式,2,获取网页内容,正则匹配出所有图片的地址,3,拼接地址生成列表4,循环列表,生成图片地址的文本文件5,循环列表,取出每个地址,获得地址内容6,写入到文件夹难点:首先是获取每个图片的地址____这是一个获取过程再次 获取图片...原创 2018-12-24 21:20:22 · 833 阅读 · 0 评论 -
scrapy中spider和crawlspider的区别
spider和crawlspider都是用来实现数据解析的爬虫模块,但是还是有很大区别的.原理来说都可以达到目的,但是应用情况嫩实现数量级的区别.建立方式:scrapy genspider 爬虫名 指定域scrapy genspider -t crawl 爬虫名 指定域spider有parse函数crawl spider没有parse函数crawl spider生成了一个rules,...原创 2019-01-03 13:56:27 · 4603 阅读 · 0 评论 -
解决rpm安装nmap依赖报错问题,推荐第三种方法
方式1:Ubuntu 是 Debian 类型的 linux。使用 apt-get install nmap 可以直接安装 nmap。LaMont Jones 维护了Nmap 的 deb 安装包。稳定的版本在 http://packages.debian.org/stable/nmap, 开发的版本(不稳定的版本)在 http://packages.debian.org/unstable/nmap...转载 2019-03-16 09:34:19 · 2017 阅读 · 0 评论 -
win10 安装mysqldb
连接https://www.codegood.com/archives/129下载32或者64位版本,安装原创 2019-04-04 10:28:00 · 319 阅读 · 0 评论 -
无序列表list中的最大k个元素,k_from_list
方法1:内置sorted函数,然后切片:def fun1(list1, k):if len(list1) < k:print(‘k too long’, list1)passelse:ret = sorted(list1)[:-k - 1:-1]print(‘fun1:’, ret)return ret方法2,最大堆 ,维护一个k长的列表,将列表内的最大元素和剩下的其他元素...原创 2019-09-04 16:47:30 · 363 阅读 · 1 评论