map语法获取index_python获取慧聪企业信息

要获取的内容如下：

'''使用python获取慧聪企业联系方式作者：菜鸟虫师Mac时间：2020.7.24'''import requestsimport jsonfrom lxml import etreeTARGET = 'https://s.hc360.com/company/search.html?'HEADERS = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0',}# 要post的参数DATA = {    'kwd': None,    'pnum': None,}# 向首页发起请求，获取企业信息页面的urldef get_index_url():    # 首页的请求方式是post    res = requests.post(url=TARGET, headers=HEADERS, params=DATA)    html = etree.HTML(res.content.decode())    # 获取企业信息的url(如图1)    get_contacts_urls = list(html.xpath('//a[@]/@href'))    # 要在每个href前面加上'https:'才能成为一个真正的url，进行下一步的访问    get_contacts_urls = map(lambda x: 'https:' + x, get_contacts_urls)    return (list(get_contacts_urls))# 向企业信息页面的url发起请求，获取企业信息def get_cpns_infos(url):    res = requests.get(url=url, headers=HEADERS)    html = etree.HTML(res.text)    # 企业的联系信息都在这个

下的内 # cpns_infos = html.xpath('//div[@]//ul/li') cpns_infos = html.xpath('//div[@]//ul') # 字典：存放企业联系信息 cpns_datas = {} for cpns_info in cpns_infos: cpns_datas['公司名称'] = cpns_info.xpath('//div[@]/text()')[0] # 联系人姓名 contacts = cpns_info.xpath('//div[@]/span/a/text()')[0] # 职位 position = cpns_info.xpath('//div[@]/span/text()')[0] # 联系人姓名+职位(去掉\xa0\xa0) cpns_datas['联系人'] = "".join((contacts + position).split()) # QQ QQ = cpns_info.xpath('//a[@]/text()') # 有QQ，则去掉本身的QQ：以及括号 if QQ: qq = QQ[0].strip("( QQ：)") cpns_datas['QQ'] = qq # 没有QQ，则显示'没有QQ' else: cpns_datas['QQ'] = '没有QQ' cpns_datas['公司电话'] = cpns_info.xpath('//div[@node-name="telephone"]/text()') cpns_datas['手机号码'] = cpns_info.xpath('//div[@node-name="mp"]/text()') cpns_datas['其他电话'] = cpns_info.xpath('//div[@node-name="otherTelephone"]/text()') cpns_datas['官网'] = cpns_info.xpath( '//div[@]/a[contains(@onmousedown,"contact_detail_homepage")]/text()')[0].strip( "\r\n\t\t").replace(" ", "") # 地址(在最后一个的div内) cpns_datas['地址'] = cpns_info.xpath('//li[last()]/div[@]/text()')[0] # 转化为json格式，以便保存 cpns_datas_json = json.dumps(cpns_datas, ensure_ascii=False) # 将信息保存到JSON文件中 save_infos(cpns_datas_json)# 保存信息def save_infos(data): with open('HuiCong.json', 'a') as f: f.write(data) print("OK!")# 逻辑函数def main(): # 要获取的城市 DATA['kwd'] = '广州' # 前N页的内容 for i in range(3): DATA['pnum'] = (i + 1) urls = get_index_url() for url in urls: get_cpns_infos(url)if __name__ == '__main__': main()

图1如下：

获取到的内容如下：