知恩爸比-CSDN博客

原创李亚涛：python知道长尾关键词挖掘工具

之前因为要写文章，有时候需要采集一些数据，还有一些关键词作为参考，所以就想到了通过百度知道来查询，后来就自己编写了一个知道长尾关键词挖掘的工具觉得还蛮好用的，可以根据关键词一键采集所有长尾巴词。先来张运行截图，比如采集关键词为python: 再来个中文的试一下吧，比如抖音：跟关键词无关的知道标题，已经自动过滤掉了，很好用，这个还蛮稳定的，用...

2020-03-05 23:19:55 806

原创李亚涛：python多线程爬虫与单线程爬虫时间对比

今天给大家分享一下python多线程爬虫与单线程爬虫时间对比 python多线程的运行效率比单线程要快的多。我就简单举例，假如有50个url然后要获取源代码，分别用单线程和多线程，看一直运行结束后，各用多长时间。代码如下： # coding:utf8 #python多线程爬虫与单线程爬虫时间对比 import requests,time from multiproc...

2020-03-05 21:26:36 317

原创李亚涛：python抓取某房源户型图并自动保存到文件夹

大家好，今天来给大家分享一下如何抓取某房产网站房源户型图的所有图片，而且自动以房源名称命名一个文件夹，把所有图片放到文件夹中。大概的思路是： 1、获取网页源代码 2、获取图片地址与房源名称 3、在当前目录，建立一个文件夹，以房源名称命名 4、保存图片并简单对图片进行重命名以下是全部代码： #coding:utf8 #python抓取网页图片并保存到本地电脑 i...

2020-03-04 00:40:46 573

原创李亚涛：清除HTML所有格式并且删除换行与回车，只显示文本

大家好，之前我在写程序的时候遇到一个需求，就是获取到一段源代码然后需要把这段源代码只显示文本，其他HTML代码全部清楚掉。这种我们应该怎么办呢？以下是我个人的方法，代码如下：由于这里不能直接发代码，所以只能发上面的截图了，我公众号上可以直接复制为了方便举例，我直接随便找了一段源代码，也就是content这段字符串大家可以看一下运行后的效果：如上图，运行之后得到了...

2020-03-03 00:56:36 304

原创李亚涛：python中文如何转换成拼音？

大家好，今天给大家分享一个我之前写程序遇到的一个问题，就是我在采集某房产信息的时候，由于字段非常多，有将近100多个，而且很多字段是相互关联的我采集是直接导入到数据库，为了防止重复，以及设置一个唯一的索引，需要把中文转换为拼音再进行拼接才比较方便。所以问题来了，python中文如何转换成拼音呢？我写的代码如下：因为这里不让发代码，所以只能发截图，如果想直接复制代码的到我公...

2020-03-02 10:23:13 387

原创李亚涛：python判断日志中的IP是否为百度蜘蛛

大家好，今天给大家分享一下如何利用python判断网站日志中的IP是否为百度蜘蛛IP 大家知道网站日志其实是后缀是.log的文件，自己有网站的可以下载日志，比如我下载的日志文件：打开如下图：转存失败重新上传取消如果判断日志中的IP是否为百度蜘蛛IP，我们需要利用到模块socket 首先我们肯定要获取这个文件里的所有IP，然后再逐个去判断。由于很多同学可能没有这个日志文件，通常也...

2020-03-01 11:52:22 259

原创李亚涛：windows下python如何安装pygame模块

下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame 下载后，我们把文件复制到C:\Python27\Scripts下：然后我们把名称一下： pygame-1.9.6-cp27-cp27m-win_amd64.whl 改为： pygame-1.9.6-cp27-none-win_amd64.whl 然后进入到...

2020-02-29 20:47:47 412

大家好，今天给大家分享一个简单的知识点，利用python快速打印九九乘法口诀表：大家可以看到我们需要2个变量，一个X代表行，一个Y代表列，代码非常简单，如下: #coding:utf8 #python快速打印九九乘法口诀表 for x in range(1,10): print “” for y in range(1,x+1): print “%d*%d=%d”%(x,y,x*y), 运行截图如...

2020-02-29 16:48:40 307

知恩爸比