我的第一个爬虫程序

简单爬取数据

1、基础爬虫知识的掌握

1.1 变量和字符串

1、“+”进行字符串的连接，爬虫代码常用其构造URL链接，例如在爬取一个网页链接时，只有一部分’u190104eb…'，这部分链接是无法访问的，还需要前缀http://www.jianshu.com，才能进行访问，常采用字符拼接的方法 。

2、“*”乘以一个数，表示将字符串复制对应的次数，同时要了解字符串的切片与索引，a[-1]表示字符串a的倒数第一个字符，a[0]表示字符串a的第一个字符。

1.2 常用字符串方法

1、split()方法。例：a=‘www.baidu.com’ print(a.split()) 得到的结果为[‘www’, ‘baidu’, ‘com’] ，split()方法通过给定的分隔符（在该例子中为’.'），将一个字符串分割成一个列表，如果没有分隔符，程序会将所有得空格作为分隔符。

2、replace()方法。例：a=‘there is apples’ b=a.replace(‘is’, are) print(b) 得到的结果为’there are apples’ 。

3、strip()方法。作用是去除字符串两侧的字符，默认为去除字符串两侧的空格。

4、format()方法。相当于是做填空题，例如：a=‘{} is my love’.format(‘python’)实际上该语句表示的就是a=‘python is my love’ 。