Python爬虫---爬取数据(上)

又是女票,拿了3万多条的13年某地区的公司信息,但是三年过去了,工商局的注册信息发生了巨大变化,有的注册资本增加了,有的公司老板变多了,更有不少公司不存在了,因此,需要一份最新的信息以便于她进行使用。
  原先是想用工商局网站上进行爬取的,但是发现工商局网站好多验证信息,毕竟我这Python初学咋练的,是在是怕怕啊!幸好,找到一个名为XX查的网站,这个网站没有验证,可以直接查询,因此就拿这个网站来吧。
  经过研究,发现必须要解析JavaScript才能拿到真实的数据,网上查找了下,发现使用phantomjs是比较简单的一种方式,于是就他了。
  我的思路是这样的,数据是在文件中,查询后肯定有两种结果,查找成功的和查找失败的,这两种各自写在一个文件中,以便之后使用。对于成功的数据,继续对其查找联系方式,注册资金,开业状态等等需要的数据。这一块应该是一个类来进行的。另外一个类,打算使用Python内置的tkinter模块,写一个简单的界面,配置这两个文件,和显示实时的查询信息的。
以下是核心的爬虫类:

   class TianYanCha(object):
	def __init__(self, sucPath, failedPath):
		super(TianYanCha, self).__init__()
		self.fileSuc = open(sucPath, 'a')
		self.fileFailed = open(failedPath, 'a')
		self.driver = webdriver.PhantomJS(executable_path = './phantomjs2.1.1/bin/phantomjs.exe')

	def __del__(self):
		print('dle phantomjs')
		self.fileSuc.close()
		self.fileFailed.close()
		self.driver.quit()
		
	def setOutput(self,text):
		self.text = text

	def getCompanyByName(self, company):
		url = 'http://www.tianyancha.com/search?key=%s&checkFrom=searchBox' % urllib.parse.quote(company)
		self.text.insert('end', '开始查找公司:' + company + ' ' + url + "\r\n")
		self.driver.get(url)
		self.driver.implicitly_wait(10)
		spans = self.driver.find_elements_by_css_selector('span[class=\"c9 ng-binding\"]')
		print(self.driver.page_source)
		if len(spans) > 0:
			href = self.driver.find_elements_by_css_selector('a[class=\"query_name\"]')
			if len(href) > 0:
				result = company
				url = href[0].get_attribute('href')
				self.text.insert('end', '找到公司%s,正在查询详细信息:%s\r\n' %(company, url))
				self.driver.get(url)
				self.driver.implicitly_wait(10)
				#获取公司名称
				name = self.driver.find_elements_by_css_selector('div[class=\"company_info_text\"]')
				if len(name) > 0:
					infos = name[0].text.split('\n')
					self.text.insert('end', infos)
				#获取公司注册资本
				regCapital = self.driver.find_elements_by_css_selector('td[class=\"td-regCapital-value\"]')
				if len(regCapital) > 0:
					result = result + " " + regCapital[0].text
				#获取公司注册状态
				regStatus = self.driver.find_elements_by_css_selector('td[class=\"td-regStatus-value\"]')
				if len(regStatus) > 0:
					result = result + " " + regStatus[0].text
				self.fileSuc.write(result)
				self.fileSuc.write('\r')
				self.fileSuc.flush()
				self.text.insert('end', result + "\r\n")
				self.text.vbar.set(1, 1)
			else:
				self.text.insert('end', self.driver.page_source)
		else:
			spans = self.driver.find_elements_by_css_selector('span[class=\"c8\"]')
			if len(spans) > 0:
				self.text.insert('end', '未找到公司 %s 的相关信息\r\n' % company)
				self.fileFailed.write(company)
				self.fileFailed.write('\r')
			else:
				spans = self.driver.find_elements_by_css_selector('div[class=\"gt-input\"]')
				if len(spans) > 0:
					self.text.insert('end', '需要输入验证码了!!!!' + '\r\n')
				else:
					self.text.insert('end', '查询公司 %s 遇到错误\r\n' % company)
					self.fileFailed.write('               ' + company)
					self.fileFailed.write('\r')
			self.fileFailed.flush()

tkinter的界面,请见Python爬虫—爬取数据(下)tkinter和exe打包

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页