- 博客(36)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 python自动关机
import time#from os import systemimport os runing = Truewhile runing: inputs =input("关机(s)OR重启(r)?(q退出)")# inputs = input.lower() if inputs == 'q' or inputs == 'quit': runing = False print ("程序退出") break seconds
2020-08-31 20:15:20
320
3
原创 Ubuntu高速下载镜像
网易： http://mirrors.163.com/ubuntu-releases/首都在线科技股份有限公司： http://mirrors.yun-idc.com/ubuntu-releases/阿里云： http://mirrors.aliyun.com/ubuntu-releases/
2020-08-28 11:29:24
251
原创 安装Ubuntu16选择默认系统启动
在打开电脑，会出现选择系统。第1个位置是Ubuntu,第5个是windos系统，ubuntu16版本设置在/boot/grub/grub.cfg文件的 set default = '0'，修改为 set default = '4'如果无法改动，需要设置写入权限，在终端执行 sudo chmod +w /boot/grub/grub.cfg输入用户密码再打开文件手动修改保存。...
2020-08-28 11:22:19
382
原创 (8)tensorflow合并与分割
合并与分割功能代码函数合并之拼接tf.concat(tensors,axis)合并之堆叠tf.stack(tensors, axis)分割tf.split(x,num_or_size_split,axis)合并拼接tf.concat(tensors,axis)堆叠分割
2020-08-25 08:58:37
266
原创 (6)tensorflow数学运算
数学运算功能代码函数加tf.add减tf.subtract乘tf.multiply除tf.divide整除//余除%乘方**或者 tf.pow(x, a)矩阵乘法@平方和tf.square(x)平方根tf.sqrt(x)自然指数etf.exp(x)自然对数tfmath.log()简单运算import tensorflow as tfa = tf.range(1,9)b = tf.con
2020-08-23 10:49:42
166
原创 (5)tensorflow张量的变换
张量的变换功能代码改变视图tf.reshape(x,shape)增加维度tf.expand_dims(x, axis)删除维度tf.squeeze(x, axis)交换维度tf.transpose(x, perm)复制数据tf.tile(x, multiples)改变视图tf.reshape(x,shape)形成新形状视图变换只需要满足新视图的元素总量与存储区域大小相等即可x.ndim可以查询维度，x.shape查询形状import
2020-08-22 18:47:28
400
原创 (4)tensorflow数据索引与切片
数据索引与切片索引通过随机数模拟输入x为 5张6 × 6大小的彩色图片, 张量表达为x[5,6,6,3]x[k][m][n][h] 与 x[k,m,n,h]表达方式等价import tensorflow as tfx = tf.random.normal([5,6,6,3])print(x[1]) #索引第1张图片print(x[1,2]) #索引第2张图片第3行print(x[1,2,3])#索引第2张图片第3行第4列print(x[1,2,3,2])#索引第2张图片第3行第4列
2020-08-22 15:05:59
332
原创 (2)tensorflow创建张量
创建张量综述：功能代码利用数组、列表对象创建张量tf.constant与tf.convert_to_tensor创建纯0 或纯 1 张量tf.zeros()和tf.ones()按照现有张量创建纯0 或纯 1 张量tf.zeros_like, tf.ones_like创建自定义纯数字张量tf.fill(shape,number)创建已知分布张量tf.random.normal(shape, mean=0.0, stddev=1.0) 和tf.rando
2020-08-21 15:13:24
695
原创 (1) Tensorflow数据类型
安装Tensorflow pip install tensorflow -i https://pypi.douban.com/simple备用镜像 https://pypi.tuna.tsinghua.edu.cn/simple镜像站点汇总（镜像有个 simple，不知道不加会怎么样）https://blog.csdn.net/qq_42830971/article/details/108119481数据类型数值类型、 字符串类型和布尔类型数值类型标量 0，1，2，3，4，5向
2020-08-21 13:54:29
269
原创 前期准备--安装Tensorflow
安装Tensorflow自动安装： pip install tensorflow -i https://pypi.douban.com/simple 速度最快的镜像 https://pypi.tuna.tsinghua.edu.cn/simple 镜像站点汇总 https://blog.csdn.net/qq_42830971/article/details/108119481手动安装：下载站点（下载符合当前电脑环境版本的，python版本和CPU与GPU之分）： https://mi
2020-08-20 18:19:43
223
3
原创 前期准备-- tensorflow手动安装镜像
https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/tensorflow/清华站点
2020-08-20 17:40:12
221
原创 镜像汇总
（一）、企业站网易：http://mirrors.163.com/搜狐：http://mirrors.sohu.com/（Ubuntu旧发行版同步被冻结，不同步Ubuntu新发行版，Ubuntu源同步正常）阿里云：http://mirrors.aliyun.com/（部分镜像同步延迟超过1天）腾讯Bugly：http://android-mirror.bugly.qq.com:8080/（仅针对APP开发的软件，手动同步，限流）首都在线科技股份有限公司（英文名Capital Online Data
2020-08-20 11:08:22
1949
原创 (32)scrapy 登录
import scrapyclass LogSpider(scrapy.Spider): name = 'log' allowed_domains = ['sxt.cn'] # start_urls = ['http://sxt.cn/'] def start_requests(self): url='' form_data={ 'user': , 'password': ,
2020-08-15 11:24:47
104
原创 (31)爬虫--scrapy动态ua，IP
http_ua.pyimport scrapyclass HttpUaSpider(scrapy.Spider): name = 'http_ua' allowed_domains = ['http://httpbin.org/get'] start_urls = ['http://httpbin.org/get'] def parse(self, response): print(response.text)setting.py# Scrap
2020-08-11 14:09:30
429
原创 (30)爬虫--CrawlSpider自动获取爬取链接
import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass ZwrSpider(CrawlSpider): name = 'zwr' allowed_domains = ['zwdu.com'] start_urls = ['https://www.zwdu.com/book/10304/'] rules
2020-08-11 11:22:44
387
原创 爬虫--模拟request登录（27）
1. Scrapy-Request和Response（请求和响应）Scrapy的Request和Response对象用于爬网网站。通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序。sequenceDiagram爬虫->>Request: 创建Request->>Response:获取下载数据Response->>爬虫:数据2. Request对象clas
2020-08-10 15:51:33
376
原创 爬虫--Spider 下载中间件(Middleware)（26）
1. Spider 下载中间件(Middleware)Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request2. 激活一个下载DOWNLOADER_MIDDLEWARES要激活一个下载器中间件组件，将其添加到 DOWNLOADER_MIDDLEWARES设置中，该设置是一个字典，其键是中间件类路径，它们的值是中间件命令
2020-08-10 15:51:20
496
原创 爬虫--使用图片管道（25）
1. 介绍Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:将所有下载的图片转换成通用的格式（JPG）和模式（RGB）避免重新下载最近已经下载过的图片缩略图生成检测图像的宽/高，确保它们满足最小限制这个管道也会为那些当前安排好要下载的图片保留一个内部队列，并将那些到达的包含相同图片
2020-08-10 15:51:08
212
原创 爬虫--CrawlSpiders（24）
1. CrawlSpiders原理图sequenceDiagramstart_urls ->>调度器: 初始化url调度器->>下载器: request下载器->>rules: responserules->>数据提取: responserules->>调度器: 新的url通过下面的命令可以快速创建 CrawlSpider模板 的代码scrapy genspider -t crawl 文件名 (allowed_url)首先在
2020-08-10 15:50:50
216
原创 爬虫--爬取小说（23）
爬取小说spiderimport scrapyfrom xiaoshuo.items import XiaoshuoItemclass XiaoshuoSpiderSpider(scrapy.Spider): name = 'xiaoshuo_spider' allowed_domains = ['zy200.com'] url = 'http://www.zy200.com/5/5943/' start_urls = [url + '11667352.html'
2020-08-10 15:50:41
115
原创 爬虫--Scrapy内置设置(22)
Scrapy内置设置下面给出scrapy提供的常用内置设置列表,你可以在settings.py文件里面修改这些设置，以应用或者禁用这些设置项BOT_NAME默认: ‘scrapybot’Scrapy项目实现的bot的名字。用来构造默认 User-Agent，同时也用来log。当你使用 startproject 命令创建项目时其也被自动赋值。CONCURRENT_ITEMS默认: 100Item Processor(即 Item Pipeline) 同时处理(每个response的)i
2020-08-10 15:50:27
364
原创 爬虫--Item Pipeline 介绍（21）
1. Item Pipeline 介绍当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类，负责接收到item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline,或者被丢弃而不再进行处理item pipeline的主要作用：清理html数据验证爬取的数据去重并丢弃讲爬取的结果保存到数据库中或文件中2. 编写自己的item pipeline2.1 必须实现的函数
2020-08-10 15:50:13
510
原创 (29)爬虫小说实例
mainfrom scrapy.cmdline import executeexecute('scrapy crawl zw'.split())zw.pyimport scrapyclass ZwSpider(scrapy.Spider): name = 'zw' allowed_domains = ['zwdu.com'] start_urls = ['https://www.zwdu.com/book/32934/13022999.html'] def
2020-08-10 15:39:06
237
原创 （28）爬虫scrapy的实践使用
maoyan.pyimport scrapyclass MaoyanSpider(scrapy.Spider): name = 'maoyan' allowed_domains = ['maoyan.com'] start_urls = ['https://maoyan.com/films?showType=3'] def parse(self, response): names = response.xpath('''//div[@class='c
2020-08-09 11:53:47
131
原创 爬虫下载twisted（杂记）
python 非官方包下载地址点击加载地址 https://www.lfd.uci.edu/~gohlke/pythonlibs/
2020-08-08 10:55:40
156
原创 (27)爬虫类方法综合实例
import requestsfrom fake_useragent import UserAgentfrom lxml import etree#url管理class URLManger(object): def __init__(self): self.new_url=[] self.old_url=[] def get_new_url(self): url = self.new_url.pop() self.ol
2020-08-08 10:38:32
208
原创 （26）爬虫下载图片
import requestsfrom fake_useragent import UserAgentfrom lxml import etreeurl='https://ronnie.tuchong.com/69224531/#image497472016'header={ 'User-Agent' : UserAgent().Chrome}response= requests.get(url=url, headers= header)e = etree.HTML(response
2020-08-08 10:37:15
71
原创 pip手动安装（python杂记）
InstallationDo I need to install pip?pip is already installed if you are using Python 2 >=2.7.9 or Python 3 >=3.4 downloaded from python.org or if you are working in a Virtual Environment created by virtualenv or pyvenv. Just make sure to upgrade p
2020-08-02 20:53:11
611
原创 （25）爬虫selenium滚动条的使用
from selenium import webdriverfrom lxml import etreefrom time import sleepfrom random import randinturl ='https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=4e03dd16c6b24f729048a28bcd2363f3'edge =
2020-08-02 18:12:46
198
原创 （24）爬虫selenium虎牙练习
from selenium import webdriverfrom time import sleepfrom lxml import etreefrom random import randintedge = webdriver.Edge()edge.get("https://www.huya.com/g/lol")sleep(10)n = 1while True: html = edge.page_source e = etree.HTML(html) name
2020-08-02 14:13:50
110
原创 爬虫scrapy之四（20）
1. 数据的提取1.1 控制台打印import scrapyclass DoubanSpider(scrapy.Spider): name = 'douban' allwed_url = 'douban.com' start_urls = [ 'https://movie.douban.com/top250/' ] def parse(self, response): movie_name = response.xpath(
2020-08-01 10:15:28
200
原创 爬虫Scrapy之三（19）
1 Scrapy提取项目从网页中提取数据，Scrapy 使用基于 XPath 和 CSS 表达式的技术叫做选择器。以下是 XPath 表达式的一些例子：这将选择 HTML 文档中的 <head> 元素中的 <title> 元素/html/head/title这将选择 <title> 元素中的文本/html/head/title/text()这将选择所有的 <td> 元素//td选择 div 包含一个属性 class=”sli
2020-08-01 10:15:03
200
原创 `爬虫scrapy之二（18）
1 基本使用1.1 创建项目运行命令:scrapy startproject myfrist（your_project_name）文件说明：名称作用scrapy.cfg项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）items.py设置数据存储模板，用于结构化数据，如：Django的Modelpipelines数据处理行为，如：一般结构化的数据持久化settings.py配置文
2020-08-01 10:14:39
111
Stata练习数据——nerlove.xls
2020-10-10
tensorflow-2.3.0rc1-cp37-cp37m-win_amd64.whl
2020-08-21
k-means同心圆的聚类代码
2018-11-08
数学建模代码,供同学使用
2018-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人