- 博客(77)
- 收藏
- 关注
RSS订阅原创 Django学习（1）——创建项目
创建项目打开命令行，cd 到一个你想放置你代码的目录，然后运行以下命令：Windowsdjango-admin startproject mysitelinux django-admin startproject mysite检测运行项目windowspy manage.py runserverlinuxpython manage.py runserver会看到一下...
2020-04-09 10:43:07
122
原创 Downloader Middleware的用法——实现随机User-Agent
Downloader Middleware 即下载中间件，它是处于 Scrapy 的 Request 和 Response 之间的处理模块。Scheduler（调度器） 从队列中拿出一个 Request （请求）发送给 Downloader（下载器） 执行下载，这个过程会经过 Downloader Middleware（下载器中间件） 的处理。另外，当 Downloader（下载器） 将 Req...
2019-12-24 16:21:20
600
原创 scrapy方法总结
spiders文件夹的.py爬虫文件方法或参数名用法name每个项目唯一的名字，用来区分不同的 Spiderallowed_domains是允许爬取的域名，如果初始或后续的请求链接不是这个域名下的，则请求链接会被过滤掉start_urls包含了 Spider 在启动时爬取的 url 列表，初始请求是由它来定义的parseSpider 的一个方法。默认...
2019-12-23 21:12:00
235
原创 Scrapy入门项目
项目目标创建一个 Scrapy 项目。创建一个 Spider 来抓取站点和处理数据。通过命令行将抓取的内容导出。将抓取的内容保存到 MongoDB 数据库。开发工具Scrapy 框架MongoDBPyMongo 库创建项目创建一个 Scrapy 项目，项目文件可以直接用 scrapy 命令生成，命令如下所示：scrapy startproject tutorial...
2019-12-23 21:01:31
339
原创 Scrapy框架介绍
架构介绍五个组件Scrapy Engine（Scrapy引擎）Scheduler（调度器）Downloader（下载器）Spiders（蜘蛛）Item Pipeline（项目管道）五大组件及其中间件的功能如下：Scrapy引擎：控制整个系统的数据处理流程，触发事务处理流程，负责串联各个模块Scheduler（调度器）：维护待爬取的URL队列，当接受引擎发送的请求时，...
2019-12-23 15:44:44
359
原创 安装scrapy
安装scrapy创建新的虚拟环境激活安装使用清华镜像源进行更新pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy安装成功后验证
2019-12-18 22:36:05
242
原创 【TensorFlow】基本使用
基本使用使用 TensorFlow, 你必须明白 TensorFlow:使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 tensor 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.综...
2019-04-16 10:59:18
158
转载 【TensorFlow】关于tf.assign()
转自：https://www.jianshu.com/p/fc5f0f971b14tf.assign(ref, value, validate_shape=None, use_locking=None, name=None)函数完成了将value赋值给ref的作用。其中：ref 必须是tf.Variable创建的tensor，如果ref=tf.constant()会报错！同时，shap...
2019-04-16 10:58:15
176
原创 【TensorFlow】一个入门小程序
以下这段很短的 Python 程序生成了一些三维数据, 然后用一个平面拟合它import tensorflow as tfimport numpy as np# 使用 NumPy 生成假数据(phony data), 总共 100 个点.x_data = np.float32(np.random.rand(2, 100)) # 随机输入，y_data = np.dot([0.100, ...
2019-04-16 09:39:25
929
原创 【Numpy】关于np.float32()
np.数位的区别，一个在内存中占分别32和64个bits，也就是4bytes或8bytes数位越高浮点数的精度越高
2019-04-16 09:36:32
31944
转载 【Linux】进程间通信——共享内存
转自：https://blog.csdn.net/wei_cheng18/article/details/79679440什么是共享内存？什么是共享内存？在对个处理器的计算机系统中，可以被不同的CPU访问的大容量空间。就是说一块物理内存被映射到两个进程的地址空间，两个进程都可以访问这段空间，从而实现进程间通信。 示意图：共享内存的特点：共享内存是最快的IPC形式，因为内存映射到共...
2019-04-16 09:32:50
98
转载 【Linux】进程间通信之消息队列
转自https://blog.csdn.net/wei_cheng18/article/details/79661495消息队列一. 什么是消息队列？消息队列是消息的链表，存放在内核中并由消息队列标识符表示。 消息队列提供了一个从一个进程向另一个进程发送数据块的方法，每个数据块都可以被认为是有一个类型，接受者接受的数据块可以有不同的类型。 但是同管道类似，它有一个不足就是每个消息的最...
2019-04-16 09:01:20
103
转载 【Numpy】关于np.random.rand（）函数
np.random.rand()函数语法：np.random.rand(d0,d1,d2……dn) 注：使用方法与np.random.randn()函数相同 作用：通过本函数可以返回一个或一组服从“0~1”均匀分布的随机样本值。随机样本取值范围是[0,1)，不包括1。应用：在深度学习的Dropout正则化方法中，可以用于生成dropout随机向量（dl），例如（keep_prob表...
2019-04-09 11:33:20
19245
原创 【Linux】linux下编译并运行c语言程序
GCC是Linux操作系统下一个非常重要的源代码编译工具,有着许多重要的选项,支持许多不同语言的编译,如C、C++、Ada、Fortran、Objective、Perl、Python、Ruby以及Java等,甚至Linux的许多内核和许多其他自由软件以及开放源码应用程序都是用C语言编写并经gcc编译而成的.[例如]在屏幕上打印"Hello,Linux."[源代码] #include<s...
2019-04-08 19:18:11
3167
原创 【tornado】调用本地的js文件
调用本地的js文件一开始在网上找了html调用外部js文件的方法，如下<script type="text/javascript" src="attack.js"></script>但是一直报错，显示404，找不到这个文件，感到很奇怪，后来觉得是不是tornado这个框架有特殊的写法，又去查了一下，果然是的。tornado下的html模板文件和js、css等静态文...
2019-04-02 10:48:30
1580
原创 【报错】Python3.5.1 用 pip 安装numpy时出现 “Unable to find vcvarsall.bat ”
问题描述Python3.5.1 用 pip 安装numpy（pip install numpy）时出现 “Unable to find vcvarsall.bat ”解决方法参考知乎的回答，直接使用whl安装步骤1.安装wheel，命令行运行：pip install wheel2.下载对应的.whl文件3. 进入.whl所在的文件夹，执行命令即可完成安装 pip install 带后...
2019-03-18 15:56:34
182
原创 tornado学习笔记（1）——基本测试程序
import tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webfrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", type=i...
2019-03-12 09:40:55
166
原创 微信小程序——配置
包含所有配置的示例代码（app.json）{ "pages": [ "pages/index/index", "pages/logs/index" ], "window": { "backgroundTextStyle": "dark", "navigationBarBackgroundColor": "#fff", "navigationBarT
2018-02-26 14:35:29
235
原创 微信小程序——事件
事件定义一种用户行为一种通讯方式例如：点击事件（tap）、长按事件（longtap）、触摸事件（touchstart ，touchend，touchmove，touchcancel ）、其他（submit，input）事件分类冒泡事件：当一个组件上的事件被触发后，该事件会向父节点传递。非冒泡事件：当一个组件上的事件被触发后，该事件不会向父节点传递。WXML的冒泡...
2018-02-23 18:49:50
277
原创 微信小程序——渲染
数据设置动态数据用双大括号表示，数据在js的data中设置<text>{{text}}</text>data: { text: "这是文本内容"}动态修改数据this.setData({text:"这是一个新的内容..."})条件渲染wx:if在框架中，使用 wx:if="{{condition}}"来判断是否需要渲染该代码块：<view wx:if="{{condition}}"> T
2018-02-23 17:21:55
1807
原创 Python爬虫下载PDF文件
requests库def get_file_content(date,files): time = date[0:4] + date[5:7] file_name = files[0][1] suburl = homepage + time + r'/' + files[0][0] # 拼接出正确的URL r = requests.get(subur
2018-01-22 10:24:07
23562
1
原创 爬取doc文件后文件中出现文字重叠
问题：用爬虫批量下载doc文件，打开后发现文字重叠。如图： 解决方法： 一般字体重叠的情况是由于字体的不匹配造成的，更改为“中文字体”和“西文字体”，就可以解决问题，并保留原文格式。ctrl+A全选文字，右键点击选择“字体”，进行修改。修改后：
2018-01-22 10:03:30
823
1
原创 Python爬取B站弹幕代码分析
re是正则模块re.findall 的简单用法（返回string中所有与pattern相匹配的全部字串，返回形式为数组） 语法：findall(pattern, string, flags=0)出现以下报错 bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: x
2018-01-15 23:38:46
1939
原创 文章标题
JavaScript的对象是一种无序的集合数据类型，它由若干键值对组成。 实际上JavaScript对象的所有属性都是字符串，不过属性对应的值可以是任意数据类型。如果访问一个不存在的属性会返回什么呢？JavaScript规定，访问不存在的属性不报错，而是返回undefined。访问属性是通过.操作符完成的，但这要求属性名必须是一个有效的变量名。如果属性名包含特殊字符，就必须用”括起来：var xi
2017-12-06 20:11:00
102
原创 JavaScript——数组Array
indexOfvar arr = [10, 20, '30', 'xyz'];arr.indexOf(10); // 元素10的索引为0arr.indexOf(20); // 元素20的索引为1arr.indexOf(30); // 元素30没有找到，返回-1arr.indexOf('30'); // 元素'30'的索引为2slice截取Array的部分元素，然后返回一个新的Array。（类
2017-12-06 19:36:58
181
转载 【c++】assert断言
assert宏的原型定义在<assert.h>中，其作用是如果它的条件返回错误，则终止程序执行，原型定义：#include <assert.h>void assert( int expression ); assert的作用是现计算表达式 expression ，如果其值为假（即为0），那么它先向stderr打印一条出错信息，然后通过调用 abort 来终止程序运行。请看下面的程序清单badp
2017-10-21 16:25:17
225
原创 【c++】i++和++i的区别
i++ ：先引用后增加 ++i ：先增加后引用 i++ ：先在i所在的表达式中使用i的当前值，后让i加1 ++i ：让i先加1，然后在i所在的表达式中使用i的新值 ++是i先不自加，在语句完后自加，++i先自加；列如a=1+i++；i本来为1的话，这里a=1+1；语句完后i才加1为2；
2017-10-21 11:18:38
10486
1
原创 【C++】PCH 警告:标头停止点不能位于宏或#if块中
出现PCH 警告:标头停止点不能位于宏或#if块中的报错原程序 错误原因vs2010的智能感知要求.h必须以非#if系列的预编译指令打头修改方法法一：#include “XXX.h”不放在开头#ifndef STACK#define STACKtemplate <class T>--------------#include <iostream>#include "stack.h"法二：在
2017-10-21 10:28:52
4647
2
原创 bootstrap学习（1）
表格☑ .table：基础表格 ☑ .table-striped：斑马线表格 ☑ .table-bordered：带边框的表格 ☑ .table-hover：鼠标悬停高亮的表格 ☑ .table-condensed：紧凑型表格 ☑ .table-responsive：响应式表格Bootstrap还为表格的行元素提供了五种不同的类名，每种类名控制了行的不同背景
2017-10-20 20:54:39
489
原创 Bootstrap——标准模板
<!DOCTYPE html><html lang="en"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initi
2017-08-26 00:21:28
768
原创 flask——web表单
使用Flask-WTF扩展处理web表单安装（venv）$ pip install flask-wtf表单类使用flask-wtf时，每个web表单都由一个继承自From的类表示。这个类定义表单中的一组字段，每个字段都用对象表示。字段对象可附属一个或多个验证函数。验证函数用来验证用户提交的输入值是否符合要求。#一个简单的web表单，包含了一个文本字段和一个提交按钮。from flask_wtf i
2017-08-24 21:23:45
223
原创 对应特殊字符的字符实体
对于某些特殊字符，或者希望在web页面中使用某个字符但在编辑器中无法输入（比如版权符号），就可以查找相应的缩写在HTML中直接输入。例如，>字符的缩写是><字符的缩写是< 所以 “The <html> element rocks.”可以这样输入： The <html> element rocks.当想要单独输入&时。则使用字符实体&,而不要直接使用字符&
2017-08-23 14:46:42
652
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人