- 博客(22)
- 资源 (677)
- 收藏
- 关注
RSS订阅原创 scrapy 爬虫返回json格式内容unicode编码转换为中文的问题解决
最近在基于python3.6.5 的环境使用scrapy框架爬虫获取json数据，返回的数据是unicode格式的，在spider里面的parse接口中打印response.text出来如下：class TestSpider(Spider):...... def parse(self, response): print(response.text)结果如下：{...
2018-10-28 23:04:29
3700
1
原创 Python3的桌面程序开发利器：Eric6的环境搭建、使用
本文旨在通过一个简单的demo，介绍基于Python3、PyQT5的环境下开发桌面应用程序的一种方案，当然开发Python的桌面应用程序不止是PyQT 这一种方案，还可以使用Python自带的Tkinter 来实现。本文目录：1. 安装依赖环境2. 安装Eric63. 配置Eric4. 创建窗口应用4.1 创建窗体UI4.2 实现代码逻辑参考资料：1. 安装依赖环境Eric6官网：htt...
2018-10-26 14:28:54
10290
1
原创 通过Redis、Memcache的 incr 原子操作防刷机制的使用差别
我的版本如下：Redis：3.2.100Memcache：1.4.4最近在处理服务器压力测试的时候，想到一个方案，在一定时间段内限制用户访问次数。具体的实现就是通过redis的院子操作increment 来实现计数器计数（memcache是通过incr方法）这个可以作为很多防刷场景的策略，也可以用于确实业务上所需的限制比如1分钟内发验证码次数限制，防止刷验证码。具体在实现过程中遇到个...
2018-10-25 16:09:28
1929
原创 从零开始搭建一个从Win7环境备份至CentOS7的SVN双机备份环境
★几个关键的事项★ 需要关闭防火墙filewalld跟selinux ，在root用户下操作：[root@localhost svnRepos]# systemctl stop firewalld [root@localhost svnRepos]# systemctl disable firewalld [root@localhost svnRepos]# systemctl sta...
2018-10-24 21:15:09
409
1
原创 通过Quartz 配置定时调度任务：使用cron表达式配置时间点
Cron官网入口在后台经常需要一些定时处理的任务，比如微信相关应用所需的access_token，就要定时刷新，官方返回的有效性是7200s，也就是2小时，但是为了保险起见，除了在发现access_token失效后要主动发起请求更新access_token，还需要通过定时器刷新，这样才能最大程度的保障access_token可以不间断使用。比如下图所示，则会在每小时的0分0秒发起调用：...
2018-10-24 20:52:34
4115
原创 springboot2、mybatis-plus3 一行配置实现打印sql最终填充的参数值
在application.yml中添加：# 配置slq打印日志mybatis-plus: configuration: log-impl: org.apache.ibatis.logging.stdout.StdOutImpl如果是application.properties，添加：# 配置slq打印日志mybatis-plus.configuration.log-...
2018-10-23 17:08:55
46670
15
原创 Win7系统 mstsc远程桌面连接失败，提示“您的凭据不工作” 或者“无法连接到远程计算机”的问题。
WIN7 mstsc远程桌面连接其他电脑，提示“您的凭据不工作xxxxxxx”的问题。或者提示：本机通过mstsc远程桌面连接服务器，我们按照下面的步骤来逐一排查：本机配置以下内容：1、按键：Windows+R键 进入命令行输入模式，在弹出的运行框里输入gpedit.msc点击确定，打开本地组策略编辑器2、然后依次点击【计算机配置】，【管理模板】，【系统】，【凭据分配...
2018-10-18 10:43:53
4859
原创 Jmeter5 实现多机集群压测（局域网组成多机集群）
想要模拟高并发用户访问的场景，用Jmeter5实现的话，单靠一台PC机，资源是不够的，包括单机的内存、使用端口数量等，所以最好是通过多台PC机组成几个集群来对服务器进行压测。本文目录：1.软硬件配置2.配置系统环境变量3.修改JMeter配置，开启代理机(Agent)功能4.搭建控制机(Controller)环境5.开启压测1.软硬件配置本文环境(控制机、代理机都一样)：– Win7 ...
2018-10-17 22:17:39
4704
原创 pypthon 3.6.5 绘制柱状图中文乱码的基本、根本、高效之解决方案~
最近在使用做一些数据统计、分析时需要用到画图，这里随大流使用matlab强大的python平台绘图组件pyplot来实现。然而在使用过程中遇到中文显示框框的问题，对于有强迫症的我简直不能忍啊~ 下面提供几个解决这个问题的方法本文环境：Win7 64位Python3.6.5（通过Anaconda安装）1、基本方法：通过设置中文字体，简单有效通过在绘制中文的时候加字体属性...
2018-10-17 15:55:22
3432
原创 Springboot2.x 启动报错：Bean named 'xxxService'... but was actually of type 'com.sun.proxy.$Proxy82'
Springboot 2.0.5 搭建一个新项目启动后报错：Bean named 'xxxService'... but was actually of type 'com.sun.proxy.$Proxy82'C:\Java\jdk1.8.0_144\bin\java.exe -XX:TieredStopAtLevel=1 -noverify -Dspring.output.ansi.enab...
2018-10-17 00:51:08
1374
原创 IntelliJ IDEA配置Springboot2.x 通过devtools实现代码热部署，提高调试效率
1、pom.xml添加依赖：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <optional>true</optional>&a
2018-10-17 00:26:15
553
原创 设置 IntelliJ IDEA 智能提醒时忽略大小写
1、Ctrl + Alt + S 打开设置界面（或者从菜单File - settings 进来）2、在搜索框输入Completion定位到Code Completion功能项3、在右侧配置界面选中All letters4、在右侧配置界面把Match case（匹配大小写）前面的√去掉，保存即可。...
2018-10-17 00:11:32
24943
1
原创 IDEA 配置datasource，提升编码效率，让你在 Mapper.xml 中编写sql可以飞起来~
IDEA 2018 创建springboot工程后，如果你打开一个.sql文件，或者一个mybatis的mapper.xml文件，会提示：No data source are configured to run this SQL and provide advanced code assistance.不要觉得这个很烦，我个人觉得这个工具提供了这么强大的能提高你编码效率的功能给你，不用...
2018-10-16 09:57:34
14146
2
原创 CentOS7.5 搭建ElasticSearch6.4.2 + Kibana6.4.2 环境
本文基于CentOS 7.5 环境下搭建最新的ElasticSearch 6.4.2 + Kibana6.4.2版本环境。
2018-10-15 17:02:53
2164
原创 CentOS7.5 通过wget下载文件到指定目录
在Linux命令行下面下载文件，通过wget是比较普遍简单的，比如在CentOS7 里面也一样。我们先来看下自己的CentOS7 系统有没有安装wget：[root@test redis]# rpm -qa|grep wget如果安装了会提示当前安装的版本：wget-1.14-15.el7_4.1.x86_64没安装的话可以通过以下命令安装：yum install -y wget...
2018-10-15 14:16:19
36934
原创 Linux vi/vim命令高效助记图
图片来源网上，如有侵权，请告知，我会删除掉，谢谢~常用编辑按键：1 vi +[num] file 打开文件，并将光标置于第n行首2 vi + file 打开文件，并将光标置于最后一行首3 vi +/pattern file 打开文件，并将光标置于第一个与pattern匹配的字符串4 ...
2018-10-15 11:40:06
348
转载 【Linux入门学习之】vi/vim编辑器必知必会
一、我们为什么要学习vim编辑器？Linux的命令行界面下面有非常多的文本编辑器。比如经常听说的就有Emacs、pico、nano、joe与vim等。vim可以看做是vi的高级版。我们为什么一定要学习vim呢？有以下几个原因：(1)所有的Unix like系统都会内置vi文本编辑器，其他的文本编辑器则不一定会存在。(2)很多软件的编辑接口都会主动调用vi。(3)vim具有程序编辑的能力，可...
2018-10-15 11:25:47
236
原创 pymysql 使用twisted异步插入数据库：基于crawlspider爬取内容保存到本地mysql数据库
本文实现基于crawlspider爬取的内容通过pymysql + twisted 异步插入本地mysql数据库保存。
2018-10-14 23:57:29
962
原创 Scrapy 使用CrawlSpider整站抓取文章内容实现
刚接触Scrapy框架，不是很熟悉，之前用webdriver+selenium实现过头条的抓取，但是感觉对于整站抓取，之前的这种用无GUI的浏览器方式，效率不够高，所以尝试用CrawlSpider来实现。
2018-10-14 19:00:44
1920
原创 Scrapy Crawl 运行出错 AttributeError: 'xxxSpider' object has no attribute '_rules' 的问题解决
按照官方的文档写的demo，只是多了个init函数，最终执行时提示没有_rules这个属性的错误日志如下： ...... File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\spiders\crawl.py", line 82, in _parse_response for request_or_item in self...
2018-10-13 22:56:10
10794
3
原创 Apache JMeter5 设置中文
Apache JMeter5 下载:apache-jmeter-5.0.zipapache-jmeter-5.0.tgz注意：JMeter5需要Java8 以上，本文环境是Win7 64位1.解压Jmeter安装包到自定义路径下2.双击Jmeter解压路径的bin下面的jmeter.bat 启动Jmeter3.启动后从菜单找到 options 》choose language 》chi...
2018-10-11 17:17:25
7938
原创 阿里云EDAS在本地CentOS7.5 系统搭建测试环境，部署配置中心以及部署多个war包
本文实现基于阿里云EDAS框架的项目在本地CentOS7.5 系统搭建测试环境，部署配置中心以及部署多个war包。可以实现脱离Eclipse集成式启动服务（阿里云的EDAS开发环境必须依赖Eclipse或者SpringBoot）。
2018-10-11 00:00:22
3438
Android版宝石迷阵游戏完整源码
2018-11-15
Android小例子源码大全：各种控件的使用demo合集
2018-11-15
android 拼图游戏（可从手机选择一张图片）
2018-11-15
android开源项目源码，完整商城项目源码（服务端＋客户端）
2018-11-15
Xamarin 简易知乎日报客户端 有ListView滑动取消加载、静止异步加载、下拉刷新、上拉加载的功能
2018-11-15
android轮播图片+滑动图片+动态gif图片+音乐+抽屉菜单+Listview+WebView
2018-11-15
100多个Android 实例集合
2018-11-15
Android天鹰乐阅网络阅读器
2018-11-15
Arcgis for android 测距测面积
2018-11-15
Android植物大战僵尸源码 cocos-2d
2018-11-15
PL-SQL Developer V11.06_64位汉化破解版
2019-03-10
instantclient-basic-windows.x64-11.2.0.4.0
2019-03-10
依赖注入：Dependency injection-英文书签文字版
2018-12-06
Java语言规范 SE 8 版本-官方英文版-带书签文字版.pdf
2018-11-20
手机邮件客户端，实现了基础的邮件接收，发送，删除，搜索功能
2018-11-15
炫酷的AS源码改造EC源码小集合
2018-11-15
这是微软官方的查看天气的app源代码，已经用android真机调试通过
2018-11-15
(Android Studio项目)仿花瓣Android客户端，瀑布流，侧滑菜单
2018-11-15
智力王是一款物理类益智游戏，这款游戏主要从记忆力和逻辑思维能力方面提供了相应的训练游戏分裂球和舒尔特表疯狂算术2048
2018-11-15
java android 棋牌类游戏.rar
2018-11-15
Android群英传_神兵利器_高清_带书签目录
2018-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人