刚签完offer没事干,之前断断续续学过一点爬虫,又想着再次学习一下,希望这次能坚持下来,好好的学习。
爬虫——顾名思义,在整个网络系统中,像蜘蛛一样,爬啊爬啊,每到一个节点,就记录该节点的数据,以及是否访问过。所谓的节点,在网络中就是我们常说的网址。整个爬虫的过程就类似于广度优先搜索(BFS)一个网络。
代码实现(一)
#encoding:UTF-8
import urllib.request
import urllib
data={}
data['wd']='美女' #可以变为'word'
url = "http://www.baidu.com/s?"
url_values=urllib.parse.urlencode(data) //将data转为url字符串,可以单独打印出来看下效果
full_url=url+url_values
data = urllib.request.urlopen(full_url).read() //打开一个网页,可以对照浏览器的地址栏
data = data.decode('UTF-8') //将读取到的页面内容解码为'UTF-8'
print(data)