计划自行写一个python爬虫程序,需要了解以下两个方面的内容:
1.HTML,了解网页结构、内容,帮助后续数据读取
2.HTTP协议,TCP/IP协议。了解网络请求和网络传输原理,帮助理解爬虫的逻辑。
一、首先学习了HTML
1.分享链接:http://www.runoob.com/html/html-tutorial.html 这上面内容很全
2.着重看了HTML的元素和属性,因为读取网页内容的时候经常用到
HTML元素
换行 HTML 元素的属性 class 为html元素定义一个或多个类名(classname)(类名从样式文件引入) id 定义元素的唯一id style 规定元素的行内样式(inline style) title 描述了元素的额外信息 (作为工具条使用)
二、其次做了一个定位元素实例:
按F12按钮,出现源代码,点击左上角图标,选择elements
鼠标挪到需要定位元素位置
点击,选中元素,右键copy,copy Xpath,得到Xpath路径。
实例:selenium定位网页元素
time.sleep(5) -------------注意要加,以防定位不到元素
driver.find_element_by_xpath(’//*[@id=“desktop”]/div/div[2]/div[1]/ul/li[3]/ul/li[1]/ul/li/a’).send_keys(Keys.ENTER)