- 博客(18)
- 收藏
- 关注
RSS订阅原创 问卷星python+selenium自动填写
1.下载插件文件stealth.min.js链接：https://pan.baidu.com/s/18XV6ROkSg-FEnADyY6AHeA提取码：bpee2.自动填写过程中发现挂梯子不用弹出滑动验证，用本地ip刷到几十份就挂了3.代码from selenium.webdriver.support.ui import WebDriverWaitimport timeimport randomfrom selenium.webdriver import Chromefrom seleni
2022-03-01 15:43:21
1553
原创 jupyter--常用的两个功能%timeit和%time,以及jupyter函数查询方式
函数查询方法一函数后面加？例如： np.random.normal?函数查询方法二help(函数名)
2021-11-20 17:27:06
393
原创 7-矩阵数据的扩充、复制和限制幅度
1.矩阵中数据的扩充（tf.pad）2.矩阵中数据的复制（tf.tile）3.矩阵中数据限制幅度（tf.clip_by_value）4.等比例放缩数据（tf.clip_by_norm/clip_by_global_norm）
2021-11-12 20:10:35
863
原创 6-张量的数据统计
1.范数计算2.reduce_min/max/mean函数----代表最小值 最大值 均值3.tf.argmax/argmin函数-----找出最大值最小值的位置4.tf.equal函数—两矩阵作比较是否对应元素相等5.tf.unique—统计不重复的元素6.tf.sort—排序返回数组和tf.argsort–返回最大值位置的数组（两个函数都是默认按照最后一个维度排序）7.tf.math.top_k 也是进行排序(可以提取出最大的前几个)8.此方法应用求top-n的概率，即我要求
2021-11-12 20:02:08
1001
原创 5-体验tensorflow张量的前向传播
import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import datasets(x,y),_ = datasets.mnist.load_data()x = tf.convert_to_tensor(x,dtype=tf.float32) /255.y = tf.convert_to_ten
2021-11-12 17:02:26
409
原创 4-tensorflow中张量的数学运算
1.“ + - * / // %(加 减 乘 除 整除 余数) ”2.tf.math.log和tf.exp和tf.pow以及tf.sqrt函数3.矩阵相乘 1. 满足矩阵相乘的维度条件---可以直接运算 2. 不满足矩阵相乘的维度条件---需要先扩展维度4.线性函数运算...
2021-11-12 16:50:48
683
原创 3-维度变换
1. tf.reshape维度变化(变化前后需要保持整体维度一致)2.tf.transpose维度置换(全部倒置和特定维度置换)3.tf.expand_dims维度展开和tf.squeeze维度缩小(都是围绕维度为1的进行)4.tf.broadcast_to完成维度相加（维度相加的规则 右对齐，右变成为最小维度）...
2021-11-11 22:02:44
640
原创 2-数据索引和取值
‘小插曲’–打印下网络中W和b的初值1. 通过‘ ：’对数据进行切片2.“ … ”的作用3.可选择的索引取值4.tf.boolean_mask对比bool型取值
2021-11-11 21:49:08
205
原创 1-常见的数据类型
**1. int32,float32,bool,string等用法**2. 常见一些属性**3. check Tensor Type****4.数据类型转换**—numpy转换tensor(convert_to_tensor和cast函数）—tensor转换numpy—tf.Variable类型5. 一些特殊数据生成—tf.ones和tf.zeros生成全1或全0数据—tf.fill填充某个数—tf,random系列函数—tf.gather 按照索
2021-11-11 21:34:58
551
原创 Jupyter内核使用pycharm创建的虚拟环境
Jupyter内核使用pycharm创建的虚拟环境1.找到pycharm创建的环境位置进入命令行然后如上图venv就是我的虚拟环境2.通过以下命令行：激活虚拟环境activate venv 效果如图：2.在虚拟环境中安装内核pip install ipykernel 效果如图（已经安装过了显示如下）：3.把venx加入到jupyter内核里面 效果如图：python -m ipykernel install --user --name evn1 --display-name “Py
2021-11-04 17:05:26
1231
2
原创 1.手机壁纸爬取
import grequests,json,time,requests,osimport uuid,refrom bs4 import BeautifulSoupdef imgload(url): print(len(url)) response_list = grequests.map((grequests.get(img_url) for img_url in url),size=int(len(url))) print("开始下载") for i in respo
2020-09-03 10:20:13
361
原创 9.Scrapy之自定义命令（全部爬虫执行）
1.在spiders同级创建任意目录，如：commands2.在其中创建 crawlall.py 文件 （此处文件名就是自定义的命令）3.编写代码from scrapy.commands import ScrapyCommandfrom scrapy.utils.project import get_project_settingsclass Command(ScrapyCommand): requires_project = True def syntax
2020-09-03 10:13:34
195
原创 7.Scrapy之https访问
1. 要爬取网站使用的可信任证书(默认支持)只需要在settings.py作如下配置DOWNLOADER_HTTPCLIENTFACTORY = "scrapy.core.downloader.webclient.ScrapyHTTPClientFactory"DOWNLOADER_CLIENTCONTEXTFACTORY = "scrapy.core.downloader.contextfactory.ScrapyClientContextFactory"2. 要爬取网站使用的自定义证书1.s
2020-09-02 11:16:10
2066
1
原创 8.Scrapy之下载器中间件和spider中间件
根据scrapy工作流程图方便分析一.DownloaderMiddleware（下载器中间件）1.middlewares.pyclass Day1DownloaderMiddleware: #下载中间件可以设置成多个，按照setting优先级执行0 @classmethod def from_crawler(cls, crawler): # This method is used by Scrapy to create your spiders.
2020-09-02 11:04:19
296
原创 5.Scrapy爬虫之配置文件（setting.py）
#项目名称BOT_NAME = 'day1'SPIDER_MODULES = ['day1.spiders']NEWSPIDER_MODULE = 'day1.spiders'# Crawl responsibly by identifying yourself (and your website) on the user-agent#USER_AGENT = 'day1 (+http://www.yourdomain.com)' # 模拟浏览器去请求USER_AGENT ="Mozi
2020-09-01 16:34:52
215
原创 6.Scrapy中间件之自定义代理
Scrapy中间件之自定义代理1.middlewares.pyimport random,base64,sixdef to_bytes(text, encoding=None, errors='strict'): if isinstance(text, bytes): return text if not isinstance(text, six.string_types): raise TypeError('to_bytes must receive
2020-08-31 23:09:38
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人