csv文件操作，selenium库，多线程爬虫，tesseract库

最新推荐文章于 2021-08-25 10:16:28 发布

weixin_43967584

最新推荐文章于 2021-08-25 10:16:28 发布

阅读量268

点赞数 1

分类专栏：学习资料

本文链接：https://blog.csdn.net/weixin_43967584/article/details/94900653

版权

学习资料专栏收录该内容

14 篇文章 0 订阅

订阅专栏

[1] 读取csv文件和写入数据到csv文件

读取csv文件
以下方式可通过下标获取元素：

import csv 
with open('stock.csv','r') as fp: 
	reader = csv.reader(fp) 
	titles = next(reader) 
	for x in reader: 
		print(x)

以下方式可通过标题获取元素：

import csv 
with open('stock.csv','r') as fp: 
	reader = csv.DictReader(fp) 
 	for x in reader: 
		print(x['turnoverVol'])

2.写入数据到csv文件
写入数据到csv文件，需要创建一个writer对象，主要用到两个方法。一个是writerow，这个是写入一行。一个是writerows，这个是写入多行。示例代码如下：

import csv

headers = ['name','age','classroom']
values = [
    ('zhiliao',18,'111'),
    ('wena',20,'222'),
    ('bbc',21,'111')
]with open('test.csv','w',newline='') as fp:
    writer = csv.writer(fp)
    writer.writerow(headers)
   	writer.writerows(values)

也可以使用字典的方式把数据写入进去。这时候就需要使用DictWriter了。示例代码如下：

import csv

headers = ['name','age','classroom']
values = [
    {"name":'wenn',"age":20,"classroom":'222'},
    {"name":'abc',"age":30,"classroom":'333'}
]
with open('test.csv','w',newline='') as fp:
    writer = csv.DictWriter(fp,headers)
    writer = csv.writeheader()
    writer.writerow({'name':'zhiliao',"age":18,"classroom":'111'})
    writer.writerows(values)

[2] 获取ajax数据的方式

1.什么是ajax
AJAX（Asynchronouse JavaScript And XML）异步JavaScript和XML。过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是XML语法。因此叫做AJAX，其实现在数据交互基本上都是使用JSON。使用AJAX加载的数据，即使使用了JS，将数据渲染到了浏览器中，在右键->查看网页源代码还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码。

2.获取ajax数据的方式
（1）直接分析ajax调用的接口。然后通过代码请求这个接口。
（2）使用Selenium+chromedriver模拟浏览器行为获取数据。

[3] selenium+chromedriver获取动态数据

1.使用方式：

from selenium import webdriver 

# chromedriver的绝对路径     
driver_path = r'D:\ProgramApp\chromedriver\chromedriver.exe' 
# 初始化一个driver，并且指定chromedriver的路径 
driver = webdriver.Chrome(executable_path=driver_path)
 # 请求网页 
driver.get("https://www.baidu.com/") 
# 通过page_source获取网页源代码 
print(driver.page_source)

2.selenium常用操作
（1）关闭页面
driver.close()：关闭当前页面。
driver.quit()：退出整个浏览器
（2）定位元素
1）find_element_by_id：根据id来查找某个元素。等价于：
submitTag = driver.find_element_by_id(‘su’)
submitTag1 = driver.find_element(By.ID,‘su’)
2）find_element_by_class_name：根据类名查找元素。等价于：
submitTag = driver.find_element_by_class_name(‘su’)
submitTag1 = driver.find_element(By.CLASS_NAME,‘su’)
3）find_element_by_name：根据name属性的值来查找元素。等价于：
submitTag = driver.find_element_by_name(‘email’)
submitTag1 = driver.find_element(By.NAME,‘email’)
4）find_element_by_tag_name：根据标签名来查找元素。等价于：
submitTag = driver.find_element_by_tag_name(‘div’)
submitTag1 = driver.find_element(By.TAG_NAME,‘div’)
5）find_element_by_xpath：根据xpath语法来获取元素。等价于：
submitTag = driver.find_element_by_xpath(’//div’)
submitTag1 = driver.find_element(By.XPATH,’//div’)
6）find_element_by_css_selector：根据css选择器选择元素。等价于：
submitTag = driver.find_element_by_css_selector(’//div’)
submitTag1 = driver.find_element(By.CSS_SELECTOR,’//div’)
find_element是获取第一个满足条件的元素。find_elements是获取所有满足条件的元素。
（3）操作表单元素
1）操作输入框：分为两步。第一步：找到这个元素。第二步：使用send_keys(value)，将数据填充进去。示例代码如下：
inputTag = driver.find_element_by_id(‘kw’)
inputTag.send_keys(‘python’)
使用clear方法可以清除输入框中的内容。示例代码如下：
inputTag.clear()
2）操作checkbox：因为要选中checkbox标签，在网页中是通过鼠标点击的。因此想要选中checkbox标签，那么先选中这个标签，然后执行click事件。示例代码如下：
rememberTag = driver.find_element_by_name(“rememberMe”)
rememberTag.click()
3）选择select：select元素不能直接点击。因为点击后还需要选中元素。这时候selenium就专门为select标签提供了一个类selenium.webdriver.support.ui.Select。将获取到的元素当成参数传到这个类中，创建这个对象。以后就可以使用这个对象进行选择了。示例代码如下：

 from selenium.webdriver.support.ui import Select
 # 选中这个标签，然后使用Select创建对象
 selectTag = Select(driver.find_element_by_name("jumpMenu"))
 # 根据索引选择
 selectTag.select_by_index(1)
 # 根据值选择
 selectTag.select_by_value("http://www.95yueba.com")
 # 根据可视的文本选择
 selectTag.select_by_visible_text("95秀客户端")
 # 取消选中所有选项
 selectTag.deselect_all()

4）操作按钮：操作按钮有很多种方式。比如单击、右击、双击等。这里讲一个最常用的。就是点击。直接调用click函数就可以了。示例代码如下：
inputTag = driver.find_element_by_id(‘su’)
inputTag.click()

（4）行为链
1）有时候在页面中的操作可能要有很多步，那么这时候可以使用鼠标行为链类ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。那么示例代码如下：

inputTag = driver.find_element_by_id('kw')
submitTag = driver.find_element_by_id('su')
actions = ActionChains(driver)
actions.move_to_element(inputTag)
actions.send_keys_to_element(inputTag,'python')
actions.move_to_element(submitTag)
actions.click(submitTag)
actions.perform()

2）还有更多的鼠标相关的操作。
click_and_hold(element)：点击但不松开鼠标。
context_click(element)：右键点击。
double_click(element)：双击。
更多方法：http://selenium-python.readthedocs.io/api.html

（5）cookie操作
1）获取所有的cookie：
for cookie in driver.get_cookies():
print(cookie)
2）根据cookie的key获取value：
value = driver.get_cookie(key)
3）删除所有的cookie：
driver.delete_all_cookies()
4）删除某个cookie：
driver.delete_cookie(key)

（6）页面等待
现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。为了解决这个问题。所以 Selenium 提供了两种等待方式：一种是隐式等待、一种是显式等待。

隐式等待：调用driver.implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间。示例代码如下：

driver = webdriver.Chrome(executable_path=driver_path)
driver.implicitly_wait(10)# 请求网页
driver.get(“https://www.douban.com/”)
显示等待：显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。示例代码如下：

  from selenium import webdriver
     from selenium.webdriver.common.by import By
     from selenium.webdriver.support.ui import WebDriverWait
     from selenium.webdriver.support import expected_conditions as EC
    
     driver = webdriver.Firefox()
     driver.get("http://somedomain/url_that_delays_loading")
     try:
         element = WebDriverWait(driver, 10).until(
             EC.presence_of_element_located((By.ID, "myDynamicElement"))
         )
     finally:
         driver.quit()

一些其他的等待条件：
presence_of_element_located：某个元素已经加载完毕了。
presence_of_all_emement_located：网页中所有满足条件的元素都加载完毕了。

element_to_be_cliable：某个元素是可以点击了。
更多条件：http://selenium-python.readthedocs.io/waits.html

（7）页面切换
有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to.window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。示例代码如下：

# 打开一个新的页面
self.driver.execute_script("window.open('"+url+"')")# 切换到这个新的页面中
self.driver.switch_to.window(self.driver.window_handles[1])

（8）设置代理IP
有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip，不同的浏览器有不同的实现方式。以Chrome浏览器为例：

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://110.73.2.248:8123")
driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path,chrome_options=options)

driver.get('http://httpbin.org/ip')

[4] WebElement元素

from selenium.webdriver.remote.webelement import WebElement类是每个获取出来的元素的所属类。
一些常用的属性：
get_attribute：这个标签的某个属性的值。
screentshot：获取当前页面的截图。这个方法只能在driver上使用。
driver的对象类，也是继承自WebElement。

[5] 使用tesseract识别图像

在Python代码中操作tesseract。需要安装一个库，叫做pytesseract。通过pip的方式即可安装：
pip install pytesseract
并且，需要读取图片，需要借助一个第三方库叫做PIL。通过pip list看下是否安装。如果没有安装，通过pip的方式安装：
pip install PIL
使用pytesseract将图片上的文字转换为文本文字的示例代码如下：

# 导入pytesseract库import pytesseract# 导入Image库from PIL import Image
# 指定tesseract.exe所在的路径
pytesseract.pytesseract.tesseract_cmd = r'D:\ProgramApp\TesseractOCR\tesseract.exe'
# 打开图片
image = Image.open("a.png")# 调用image_to_string将图片转换为文字
text = pytesseract.image_to_string(image)
print(text)

[6] Queue线程安全队列

在线程中，访问一些全局变量，加锁是一个经常的过程。如果你是想把一些数据存储到某个队列中，那么Python内置了一个线程安全的模块叫做queue模块。Python中的queue模块中提供了同步的、线程安全的队列类，包括FIFO（先进先出）队列Queue，LIFO（后入先出）队列LifoQueue。这些队列都实现了锁原语（可以理解为原子操作，即要么不做，要么都做完），能够在多线程中直接使用。可以使用队列来实现线程间的同步。相关的函数如下：
初始化Queue(maxsize)：创建一个先进先出的队列。
qsize()：返回队列的大小。
empty()：判断队列是否为空。
full()：判断队列是否满了。
get()：从队列中取最后一个数据。
put()：将一个数据放到队列中。

GIL全局解释器锁

Python自带的解释器是CPython。CPython解释器的多线程实际上是一个假的多线程（在多核CPU中，只能利用一核，不能利用多核）。同一时刻只有一个线程在执行，为了保证同一时刻只有一个线程在执行，在CPython解释器中有一个东西叫做GIL（Global Intepreter Lock），叫做全局解释器锁。这个解释器锁是有必要的。因为CPython解释器的内存管理不是线程安全的。当然除了CPython解释器，还有其他的解释器，有些解释器是没有GIL锁的，见下面：
Jython：用Java实现的Python解释器。不存在GIL锁。更多详情请见：https://zh.wikipedia.org/wiki/Jython
IronPython：用.net实现的Python解释器。不存在GIL锁。更多详情请见：https://zh.wikipedia.org/wiki/IronPython
PyPy：用Python实现的Python解释器。存在GIL锁。更多详情请见：https://zh.wikipedia.org/wiki/PyPy
GIL虽然是一个假的多线程。但是在处理一些IO操作（比如文件读写和网络请求）还是可以在很大程度上提高效率的。在IO操作上建议使用多线程提高效率。在一些CPU计算操作上不建议使用多线程，而建议使用多进程。