- 博客(5)
- 收藏
- 关注
转载 学习笔记(1):跟着王进老师学开发之C#篇:基础语法-变量、输入输出
本次课程是初级课程,只要熟悉计算机的基本应用和操作,都可以完成本次课程学习。本课程深入浅出的介绍了C#语言的基本语法结构、条件选择、循环、异常处理、数组、集合、值类型和应用类型、字符串的常用方法、日期类型的案例应用、各种方法的灵活等等。...
2020-06-18 11:23:51 157
转载 python /selenium /动态网页 /爬虫
因为淘宝是动态网页,很多商品的数据是动态加载的,所以我们就无法使用爬取静态页面的方式来抓取淘宝商品信息。这里我使用了自动化测试工具selenium来爬取动态页面的商品信息。这里有几个需要注意的地方,因为淘宝首页打开首先是二维码登录界面,所以为了直接通过程序实现登录,我们要利用指令[python] view plain copyfind_element_by_id('J_Quick2Static')...
2018-03-17 15:28:50 399
原创 selenium
#coding=utf8from lxml import etreefrom scrapy import *from selenium import webdriver#from selenium.webdriver.common.by import By#进行编码# import sys# reload(sys)# sys.setdefaultencoding('utf-8')#启动浏览器# b...
2018-03-17 15:25:00 273
原创 url库与urlerror异常chuli
抓取网页实例:import urllib.requestfile = urllib.request.urlopen('http://www.baidu.com')data = file.readlines()with open('C:/Users/Python/desktop/myhtml/my1.html','wb') as f: for i in data:
2017-12-26 20:40:19 297
转载 爬虫基础
爬虫的组成:爬虫节点和控制节点控制节点之间可以相互通信,控制节点与其下的爬虫节点可以相互通信,同一个控制节点下的爬虫节点可以相互通信网络爬虫的类型:通用网络爬虫,聚焦网络爬虫,增量式网络爬虫,深层网络爬虫通用网络爬虫:1.获取初始的URL2.根据初始的URL爬取页面并获得新的URL。将爬取的网页存储到原始数据库中,并且在爬取网页的同时,发现新的URL地址,将已爬取的URL地
2017-12-26 19:49:00 1893
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人