python
我爱旺仔复原乳
这个作者很懒,什么都没留下…
展开
-
动态加载网站的数据爬取 列子:有道翻译 百度翻译破解案列 民政网站数据抓取 多线程爬虫
动态加载网站数据抓取1、F12打开控制台,页面动作抓取网络数据包2、抓取json文件URL地址# 控制台中 XHR :异步加载的数据包# XHR -> Query String Parameters(查询参数)有道翻译流程梳理1. 打开首页2. 准备抓包: F12开启控制台3. 寻找地址 页面中输入翻译单词,控制台中抓取到网络数据包,查找并分析返回翻译数据的地址4....原创 2019-10-12 10:55:09 · 542 阅读 · 0 评论 -
tensorflow的第一次使用 介绍的较为详细和初级
# -*- coding: utf-8 -*-'''导入库s数据预处理:加载数据 分割数据 数据可视化构建神经网络训练模型优化'''import numpy as npimport tensorflow as tfimport matplotlib.pylab as plt#训练样本的特征对应的标签x = [[0,0],[1,0],[0,1],[1,1],[1,1],...原创 2019-10-12 10:34:01 · 111 阅读 · 0 评论 -
scrapy教程+selenium +数据的各种永久化存储
selenium切换句柄1、适用网站页面中点开链接出现新的页面,但是浏览器对象browser还是之前页面的对象2、应对方案# 获取当前所有句柄(窗口)all_handles = browser.window_handles# 切换到新的窗口browser.switch_to_window(all_handles[1])3、设置无界面模式1、options = webdrive...原创 2019-10-12 10:19:36 · 445 阅读 · 0 评论 -
Python利用selenium爬取行政区域存到MySQL里
from selenium import webdriverimport timeimport pymysqlclass GovementSpider(object): def __init__(self): self.browser = webdriver.Chrome() self.one_url = 'http://www.mca.gov.cn...原创 2019-10-12 10:09:35 · 770 阅读 · 0 评论 -
python的datetime模块求每个月的最后一天
#导入datetime模块import datetimedef last_day_of_month(any_day): #获取每个月的最后一天 next_month = any_day.replace(day=28) + datetime.timedelta(days=4) # this will never fail return next_month - date...原创 2019-09-28 23:00:00 · 3059 阅读 · 0 评论