- 博客(41)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 华硕主板型号说明
R2.0超频版M/MXMicro-ATX（俗称的小板）IMini-ATX板型LElow edition(阉割)LX下限.入门版PLUSPLUS是升级版或者是加强版。PRO版和PLUS版的主体功能差不多，芯片组相同，性能也差不多，但是PLUS版会比PRO版的多加一些扩展功能，价格也会相对高一些EVOEvolution (高端）PRO加强版，次顶级DeluxeDeluxe 豪华版当然有些后缀PRO的为升级版，OC为自超频版，K为不锁倍频版等等-V 整合主板 -L 整合网卡
2021-12-07 22:02:11
10450
原创 【1155平台】功能对比/提升
B75相对H61B75具有原生支持高速USB3.0、SATA3.0的全新高规格B75具有原生支持PCIE3.0B75主板支持双通道DDR3 1600/1333/1066MHz内存；H61主板支持双通道DDR3 1333/1066/800MHz内存。H67/P67相对H61p67是专用超频板要配置k字头的cpu超频。无视频输出。z68是h67、p67综合加强版既有视频输出还可以超频，还有ssd加速。P67不带集显，需配独立显卡；H67带集显B75相对H67/P67P67不支持核心显卡输出
2021-11-22 21:33:16
3523
转载 关于光纤模块
SFPSFP光模块是一种小型可插拔光模块，目前最高速率可达10.3G，通常与LC跳线连接。SFP光模块主要由激光器构成。SFP分类可分为速率分类、波长分类、模式分类。SFP光模块又包含了百兆SFP、千兆SFP、BIDI SFP、CWDM SFP和DWDM SFP，每一款光模块都经过了严格的兼容性测试，确保产品的可靠性、稳定性，全面兼容各品牌交换机等设备。SFP+SFP+光模块的外形和SFP光模块是一样的，只是支持的速率可以达到10G，常用于中短距离的传输。SFP+模块（10 Gigabit Small
2020-07-02 13:50:15
2807
原创 linux与windows的区别
linux与windows的区别1.使用的费用不同：Linux是一项开源的项目，所以它免费提供给编程爱好者使用，而Windows则是需要购买的一款系统，目前最新的正版Windows系统售价888元。2.支持的软件不同：Windows由于使用人数较多，所以支持Windows的软件在数量和质量上都比Linux有优势。Linux平台只有开发者维护，缺少资金的大量支持，所以软件方面的数量和质量比较缺乏...
2020-01-14 08:41:51
2408
原创 Hexo deploy报错
原因是做过coding后，github地址和hexo中冲突Please make sure you have the correct access rightsand the repository exists.FATAL Something's wrong. Maybe you can find the solution here: https://hexo.io/docs/troub...
2020-01-05 15:10:03
1070
原创 JS视觉添加/删除
由于js操作后数据展示不会发生变化，我们为了体验良好，加些操作push 添加到原数组splice 在原数组中删除以上两操作只在页面展示中做操作，对数据没变化Array.push(data)Array.splice(data)...
2019-12-08 16:32:57
545
原创 mongodb安装
version：3.4.6custom自定义安装安装后找到mongodb安装目录，创建一个mongoDBdata文件夹在mongDBdata文件夹中分别创建db文件夹和log文件夹，分别用作数据存放和日志文件。添加到系统服务中配置mongo环境，将以下文本在bin目录下cmd运行使用mongod.exe --bind_ip 127.0.0.1 --logpath “D:\Mong...
2019-12-07 23:59:41
114
原创 写文件为utf-8两种方式
html = r.content.decode(‘utf-8’)with open(‘1.html’,‘w’,encoding=‘utf-8’) as f:f.write(html)html = r.content.decode(‘utf-8’).encode(‘gbk’,‘ignore’)with open(‘1.html’,‘w’) as f:f.write(html)...
2019-11-25 16:37:35
585
原创 python dict无序到有序
python实现dict无序到有序：原先的内存布局entries为哈希表，表中直接存储PyDictKeyEntry（hash、key、value），也就是说当当前位置为空的时候存的是（0， null， null）浪费了大量内存；python3.6: indices充当哈希表，存储的entries的index，使用index去访问存有PyDictKeyEntry的数组python3...
2019-11-13 09:54:35
914
1
原创 定时任务（APScheduler与crontab）
APScheduler学习讲解python调度使用APSchedulercrontab定时任务linux的crontab正常使用APSscheduler，像10天1次的用crontab
2019-10-24 20:21:14
1106
转载 进程，线程，协程总结
进程三种状态1. 就绪态：运行的条件都已经慢去，正在等在cpu执行2. 执行态：cpu正在执行其功能3. 等待态：等待某些 条件满足，例如一个程序sleep了，此时就处于等待态生命周期：1. 用户编写代码(代码本身是以进程运行的)2. 启动程序，进入进程“就绪”状态3. 操作系统调度资源，做“程序切换”，使得进程进入“运行”状态4. 结束/中断特性1. 每个程序，...
2019-10-24 20:05:37
161
原创 python 杨辉三角 生成器
题目给定一个非负数numRows，生成杨辉三角的numRows行输入s输出[[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1],]思路就是遍历索引然后取值相加，而具体的几行想到了用生成器，无限循环，当报一个StopIteration错误是停止函数Python实现num = int(input('>>>'))def ...
2019-10-24 17:23:45
457
原创 vue父子组件传参实现分页
后端用的是django的paginator分页模块分页流程嵌套组件，分页组件注册在主组件中mounted钩子函数先请求到第一页的数据，当前页，页数范围，最大页数，传给子组件，子组件渲染其中，子组件定义了四个按钮（首页，尾页，上一页，下一页）。当调用上一页下一页函数时，当前页数计算过后，通过$emit传给父组件，在下面的例子中调用了chane_page_num映射函数，父组件函数请求当前页...
2019-10-23 16:48:19
3278
原创 redis之缓存穿透，缓存击穿，缓存雪崩区别及解决方案
缓存穿透问题形成缓存穿透是指查询一个一定不存在的数据，由于缓存不命中，接着查询数据库也无法查询出结果，因此也不会写入到缓存中，这将会导致每个查询都会去请求数据库，造成缓存穿透；一般的缓存系统，都是按照key值去缓存查询，如果不存在对应的value，就应该去DB中查找 。这个时候，如果请求的并发量很大，就会对后端的DB系统造成很大的压力。这就叫做缓存穿透。关键词：缓存value为空；并发...
2019-10-22 19:07:27
222
原创 nginx与uwsgi，uwsgi的应用
nginx和uwsgi的区别和作用：Django+uwsgi+nginxnginx和uwsgi的区别和作用：1, nginx是对外的服务器，外部浏览器通过url访问nginx, uwsgi是对内的服务器，主要用来处理动态请求。2, nginx接收到浏览器发送过来的http请求，将包进行解析，分析url， a.如果是静态文件请求就直接访问用户给nginx配置的静态文件目录，直接返回用户请求的...
2019-10-21 19:13:31
422
原创 使用nginx-rtmp搭建直播服务器（OBS）
视频直播的流程可以分为如下几步：采集 —>处理—>编码和封装—>推流到服务器—>服务器流分发—>播放器流播放这里使用的传输协议是RTMP， 所以只要支持RTMP 流协议的播放器都可以使用，这里我们使用nginx,推流用到的是OBS拉流用的是vue实现用到的资源服务器obs.exevue.js下面上步骤安装好docker后，下载nginx-rtm...
2019-10-11 09:21:16
1122
原创 webssh
vue +django+linux实现webssh技术栈xterm.js：做到vue的表现型websocket： 做vue和django之间的通信paramiko： 建立SSH连接通道ssh： 与linux进行连接threading：多条数据返回前端，io密集型，用线程其中paramiko可以使用socket或pexpect实现。vue部分xterm用3.1，4版本的简...
2019-10-09 22:05:54
1218
原创 sqlite3.OperatioinalError:no such table:XXX-xxx
课程项目中多个子应用表重复，或者迁移中出现问题解决方式：删除相关app的migration文件中的子文件执行建表时候使用：python manage.py makemigraions 表名python manage.py migrate 表名...
2019-10-08 15:34:56
171
原创 websocket简介
websocket：遵循socket协议，特点是长链接，可跨域应用：客服系统，消息推送传统应用的http协议的连接，一般都是轮询式，致命缺点是浪费带宽，前端压力非常大。采用websocket协议，实时消息双向传输，提高了性能。缺陷：HTTP/WebSocket的连接要经过无数的路由，防火墙，要经过无数次转发，过滤才能实现。在一个节点发现没有数据传输时，会主动断开，此时，服务器和客户端并...
2019-09-06 09:30:52
108
原创 更好的使用github
in:name spring cloudin:descripton spring cloud关键词in：readme Spring cloudreadme关键词stars:>=3000 spring cloud星标size:>=5000仓库大小pushed:>2019-01-03 spring cloud仓库是否在...
2019-08-28 15:54:10
92
原创 关于gbk乱码问题（前程无忧）
在我们爬虫的道路上，无疑会碰到网页的gbk编码格式，显示效果是怎样的呢经过源码的查看，我发现次网站是以gbk方式编码，查过资料后，得出结论要经过gbk编码结果就没问题了，但编码格式有点特殊，有必要提一下。通过requests.get得到的源码经过response.encoding=‘gbk’已经编码为简体字之前由于习惯没用过response.encoding转码，后经过写入文件发现原来的...
2019-08-22 00:04:05
1338
1
原创 scrapy-redis主从式简介
几种爬虫分布式架构scrapy——redis，成熟的分布式框架，redis作为通讯载体读写迅速。RabbitMQ消息中间件得益于确认机制，可以在高可靠性和高数据要求情景中，避免数据抓取的遗漏和丢失。实现可以利用scrapy_redis调度执行celery分布式任务队列用于异步操作，如tornado ，django异步任务中，通过接口，打造爬虫框架，供他人使用原生sc...
2019-08-15 15:51:31
495
原创 aiohttp异步
aiohttp模块提供了客户端和服务端，使用异步请求，在我们url数量庞大时可以使用，节省时间，常用来检查代理池。aiohttp使用教程aiohttp 简易使用教程
2019-08-14 14:13:07
171
原创 基于scrapy的两种增量式爬虫（url，数据指纹）
增量式爬虫基于对数据的筛选和去重，redis的sadd正好符合这一功能，下面我们就用scrapy+redis来实现增量式爬虫。增量式爬虫应用场景用于自动化获取我们想要的数据前提是我们需要对网站数据更新模式有一些了解，避免对我们获取数据带来不必要的麻烦弊端就是我们筛选数据时不正确的处理方式导致浪费时间。增量式爬虫处理数据方式在发送请求之前判断这个URL是不是之前爬取过适合...
2019-08-13 14:10:58
950
原创 Scrapy--CrawlSpider全站爬取
CrawlSpider继承了scrapy.spiders类增加了功能：允许客户自定义方法来搜索url继续爬取。使用CrawlSpider的优缺点优点：我们可以方便爬取我们想要的相关url缺点：由于Rules在获取到url直接运行回调函数，在中间过程我们无法加入其它操作，使之有了局限性。其他功能：可以配合redis完成增量式爬虫CrawlSpider的机制:- 连接提取器: 可...
2019-08-12 17:15:00
915
原创 常见的scrapy持久化方式（mongo，mysql，imgpipeline）
mongo常见方式：连接插入，在spider中进行，这种比较简洁。import pymongoclass WynewsPipeline(object): conn = pymongo.MongoClient('localhost', 27017) db = conn.wynews table = db.newsinfo def process_item(se...
2019-08-09 18:41:45
312
原创 scrapy的中间件实现与selenium结合（网易新闻）
在我们使用scrapy爬取网易新闻时，会出现ajax形式数据，使用的是selenium+scrapy的下载中间件，这里我们实现scrapy异步抓取。中间件分类:- 下载中间件: DownloadMiddleware- 爬虫中间件: SpiderMiddleware中间件的作用:- 下载中间件: 拦截请求与响应, 篡改请求与响应- 爬虫中间件: 拦截请求与响应, 拦截管道item, 篡...
2019-08-09 18:12:20
915
原创 payload数据传输，携程查机票接口
网络报文中的payload通常在传输数据时，为了使数据传输更可靠，要把原始数据分批传输，并且在每一批数据的头和尾都加上一定的辅助信息，比如数据量的大小、校验位等，这样就相当于给已经分批的原始数据加一些外套，这些外套起标示作用，使得原始数据不易丢失，一批数据加上“外套”就形成了传输通道的基本传输单元，叫做数据帧或数据包，而其中的原始数据就是payload举例在爬虫中传输payload第一种：...
2019-08-07 10:54:36
2316
原创 numpy绘制灰度系数（制作素描图片）
本篇文章使用了numpy的科学计算库，PIL图片绘制方法，通过设置灰度阈值，将图片转为矩阵，并设置坐标，添加光源，最后光源归一化，转为图片并保存。最为实用的用途就是生成素描图，设置头像，我使用了一张美女图，效果还能凑活看。其中还有一些操作，通过修改阈值和光源位置来使用此功能。在此就不做展开了。生成的滤镜图from PIL import Imageimport numpy as n...
2019-07-25 20:12:56
457
原创 一篇文章教你如何生成二维码
python的第三方库真得非常强大这个MyQR库实现了生成二维码安装：pip install myqr无论是你的博客网站，网店，还是你的简历都可以生成及应用，是不是很高大上下面我们看下代码from MyQR import myqrmyqr.run(words="https://blog.csdn.net/weixin_44220464"这样就实现了我的csdn二维码生成如果你...
2019-07-24 13:28:53
4541
原创 一篇入门级Scrapy框架（校花网）
心血来潮，苦口婆心写一篇校花网爬取。准备工作：要用到request模块需要的库和包（twisted，scrapy）自行安装，python环境自行安装。url：‘http://www.xiaohuar.com/hua/‘注意点用到的scrapy命令：scrapy startproject 文件名（创建项目）cd 文件名scrapy genspider 爬取网站名（约定俗成） u...
2019-07-16 09:15:27
277
原创 （嗅事百科）多线程爬虫
首先来说，pyton的多线程是假的多线程。由于Python代码的执行由Python虚拟机（解释器）来控制,同时只有一个线程在执行。如何使用真的多线程呢？提供了一下方法：1、重写python编译器2、调用C语言的链接库在这里我们用了第一种方法，重写了线程的run方法这篇爬取的嗅事百科，解析的数据是标题，分类和评论数。取到数据后存入mongodb思路：两个类：一个负责采集数据，一个负...
2019-07-11 19:32:46
229
原创 8月最新千千音乐爬取(requests+bs4)
据之前千千音乐撸代码几个月了，该网站应该是月初盖的加密方式之前可以在F12里直接找到url的，现在我用的fiddler抓包抓到代码如下，写了三个函数，分别为单页多页爬取，这里的歌曲名没具体找，将就下from urllib import requestfrom bs4 import BeautifulSoupimport requestsdef get_songid_list(head...
2019-07-08 20:39:55
726
1
原创 爬取猎聘网职位(requests+bs4)
本人倾向于用obs4匹配，数据量不大，怎么简单怎么来了url为关键词搜索，位置默认全国最后写入json文件import requestsimport jsonfrom bs4 import BeautifulSoup# url = 'https://www.liepin.com/zhaopin/?sfrom=click-pc_homepage-centre_searchbox-sear...
2019-07-05 20:17:15
3295
原创 爬取安居客新房(urllib+bs4)
简单做了个脚本，将房源写入json文件代码注释很全，不做解释了。import jsonfrom urllib import request,parseimport refrom lxml import etreefrom bs4 import BeautifulSoup,elementdef get_url():“”"处理url地址:param url: 初始url模板:pa...
2019-07-02 19:10:00
309
原创 关于django分页问题
在这里我们用django自带的分页模块来实现views.py–from django.core.paginator import Paginator#i为要分页的结果集,2为每页显示条数p = Paginator(i,2)#current_page当前页，转为intcurrent_page = request.GET.get(‘p’,1)current_page = int(cu...
2019-06-10 08:37:50
257
原创 关于django路由问题（路由分发 反向解析 命名空间）
路由分发：当项目中存在多个app时，为了方便管理，可使用路由分发作用：方便管理/使URL 地址更加赏心悦目使用方法：子app中创建urls.py文件主路由path(‘app/’,app.urls)反向解析出现一个问题，比如我们把其中某个路由规则进行了修改，把 aaa 换成了 aba ，那么现在我们需要回到每一个使用到这个路由的地方进行同步修改，这显然非常...
2019-06-09 21:02:39
358
原创 递归实现范围内的和
今天，老师要我们写一段实现递归范围内和的代码，经过讨论，分别写出了奇数和，偶数和，证书和。难度不算难，但是思路很难想，hhdef jishu(n): for i in range(n): #构造循环次数 if n%2 == 0: #最后一个数不满足条件，减少一次循环 return jishu(n-1) el...
2019-02-23 11:19:09
146
response_code.py
2019-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人