github上的python爬虫_python爬虫爬取github所有follwers初级版

这几天我很焦虑，受不了那些先follow我，等我follow回去后又unfollow的人，因为是他们先follow我的，我出于人道主义想着互粉一下的，结果这么对我，太不厚道了。github又不像微博那样有互粉标志，这真的整得我很心烦，于是想着写一个爬虫，把这些“坏人”揪出来~

第一步，当然是放出代码啦，代码放在我的github上，欢迎给star:

我是一个python初学者，完全小白，所以只能用比较蠢的方法来扒，以下是我的步骤：

1 扒取整个页面

# -*- coding:UTF-8 -*-

import requests

if __name__ == '__main__':

target = 'https://github.com/laurel-he?tab=followers'

req = requests.get(url=target)

fo = open('1.txt', "ab+")

fo.write((req.text).encode('UTF-8'))

fo.close()

以上代码可以将整个文件的html扒取下来，接下来找到用户，在follower里面随便找到一个用户，在刚才生成的txt文件中搜索，然后就可以得到如下匹配：

data-octo-dimensions="link_type:self".href="/(.?)"

可以直接匹配出用户名。

2 根据正则获取匹配的用户

刚才已经把整个页面扒取下来了，代码放在spider/follwers/url.py，txt文件效果如下：

但是我想要获取的是所有follwer，之前已经得到了对应的正则表达式，那么得到所有的follwer很容易，最终代码如下：

# -*- coding:UTF-8 -*-

import requests

import re

if __name__ == '__main__':

target = 'https://github.com/laurel-he?tab=followers'

req = requests.get(url=target)

context = req.text

patt = re.compile(r"data-octo-dimensions=\"link_type:self\".*href=\"/(.*?)\"")

ch = patt.findall(req.text)

fo = open('flower.txt',"ab+")

for i in ch:

line = str(i) + "\n"

fo.write((line).encode('UTF-8')+b'\r\n')

fo.close

以上代码可以直接扒取所有follwers，但是出现了两遍，因为我这个表达式每个名字会匹配到两次，下一版本会更换正则表达式，先将就用吧，然后如法炮制扒取第二页第三页，只需要更改链接地址，加上page就可以，同时也可以把文件写入方式变成追加方式，或者干脆每次都新建一个文件，无所谓，总之最终将所有用户扒取下来。按照同样的方式扒取所有的自己follwing的用户。

这里注意的是，代码里一定要加上换行！换行符不加就是一团乱麻，啥也看不清。

换行符添加后不成功的话试试加上'r'，也许就能成功了；

还是不成功的话看看报错是不是这个样子滴：

是的话加上b方法，转化成byte~

3 接下来是最傻最骚的操作-对比

想要找出来那个没有follow自己的人，只能进行对比，我目前用了一个很傻的办法就是新建一个excel文件，按照列粘贴所有数据，然后按照升序或降序排行(两列排列方式要一样)，然后肉眼来对比！！！

其实我还是觉得我要瞎了，但是真的比起一个个看好多了，以后继续想更好的办法，总之我是揪出来那个坏人了。。。但是为了尊重人家隐私权，好吧，就这样吧，我也不能做啥。