- 博客(122)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 jsonpath 对象转json ,json 转对象
import jsonstr='{"name":"盗梦空间"}'print(str)print(type(str))obj=json.loads(str)print(type(obj))str2=json.dumps(obj,ensure_ascii=False)print(str2)print(type(str2))json.dump(obj,open('m.tx...
2020-04-18 22:55:05
921
原创 python 简单 爬虫
import urllib.requestimport urllib.error# response=urllib.request.urlopen("http://www.baidu.com")# print(response.read().decode('utf-8'))import urllib.parse# try:# data = bytes(urllib.p...
2020-04-18 21:39:26
216
原创 python 爬虫post请求 和 get请求 抓取数据的 第一个程序
import urllib.request# response=urllib.request.urlopen("http://www.baidu.com")# print(response.read().decode('utf-8'))import urllib.parsedata = bytes(urllib.parse.urlencode({"hello":"world"}),e...
2020-04-18 19:30:58
224
原创 反爬虫策略总结
今日终于有点时间了，总结一下网络爬虫领域比较常见的反爬虫策略，希望在我们抓取数据过程中遇到问题时，提供解决方法。话不多说，开讲：1、最为经典的反爬虫策略当属“验证码”了。因为验证码是图片，用户登录时只需输入一次便可登录成功，而我们程序抓取数据过程中，需要不断的登录，比如我们需要抓取1000个用户的个人信息，则需要填1000次验证码，而手动输入验证码是不现实的，所以验证码的出现曾经难倒了很多网络...
2020-04-16 11:32:40
672
原创 反爬虫策略及破解方法
反爬虫策略及破解方法爬虫和反爬的对抗一直在进行着…为了帮助更好的进行爬虫行为以及反爬，今天就来介绍一下网页开发者常用的反爬手段。1. BAN IP：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。解决方法：此种方法极其容易误伤其他正常用户，因为某一片区域的其他用户可能有...
2020-04-16 11:22:14
2532
原创 爬虫原理及反爬虫机制以及反爬虫方法的应对策略
爬虫原理及反爬虫机制关于爬虫爬虫原理反爬虫机制1.检验数据头User-Agent反爬虫机制解析：2.访问频率限制或检验3.蜜罐技术反爬虫机制的应对方法1.设定Request Headers中的User-Agent2.设定随机访问频率3.代理IP或者分布式爬虫3.对于蜜罐技术可以采用定向爬虫关于爬虫爬虫原理如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点...
2020-04-16 11:18:08
1405
1
原创 python爬虫学习笔记之常见反爬虫策略及应对技巧
python爬虫学习笔记之常见反爬虫策略及应对技巧原创KaiSarH 最后发布于2019-11-08 19:35:28 阅读数 113 收藏展开本文是我在使用网易云课堂学习日月光华老师讲的“Python爬虫零基础入门到进阶实战”课程所做的笔记，如果大家觉得不错，可以去看一下老师的视频课，讲的还是很棒的。常见反爬虫策略：一、通过Headers反爬虫二、基于用户行为反爬虫三、动态页面反...
2020-04-16 11:16:03
349
原创 Fiddler抓取HTTPS最全（强）攻略
安装fiddler实战 ，可以抓取https请求第一次安装成功 ，如果失败 卸掉 重新下载最新版①下载最新版fiddler ，强烈建议在官网下载：https://www.telerik.com/download/fiddler②正常傻瓜式安装，下一步，下一步，安装完毕后，先不用急于打开软件。③下载并安装Fiddler证书生成器：h...
2020-04-10 20:53:27
359
原创 .NET Core项目部署到linux(Centos7) 还有 vs2019 .netcore 打包成镜像 部署在linux centos7 下 并且启动 外网可以访问
https://blog.csdn.net/wuyu0920/article/details/81078092?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommend...
2020-04-09 23:38:57
994
原创 [笔记]使用Docker部署.NET Core应用程序
大概快有一年的时间没有碰过docker了，理由很简单，基本上都是在IIS上部署，看到很多大佬都开始Devops持续化集成了，还有就是用Linux守护进程很恶心，哈哈，但相对来说成本会更高，但对于大型团队来说还是不错的，这不?不想被大伙甩下，哈哈，赶紧捞回来点丢下的知识，这篇文章就算是对我自己的笔记吧...Docker 中 有EE 和 CE 两个版本，其中EE是开源的,CE是闭源的。在Linux...
2020-04-09 23:06:31
190
原创 linux 下 命令行查看.net core sdk 的版本
# 安装完成，查看版本信息dotnet --info或者dotnet --version
2020-04-09 21:02:14
6295
原创 强烈推荐（原创亲测）！！！Fiddler抓取https设置详解（图文）
https://www.cnblogs.com/joshua317/p/8670923.html强烈推荐（原创亲测）！！！Fiddler抓取https设置详解（图文）本文主要说明了自己在设置fiddler抓取https过程中所遇到的问题及解决步骤，特别是fiddler在设置证书的环节遇到的各种奇葩问题，特此分享！声明：本文为原创文章，转载请注明来源：https://www.cnblog...
2020-04-09 17:50:58
427
原创 Html Agility Pack 解析HTML
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using HtmlAgilityPack; namespace HtmlAgilityPackDemo...
2020-04-09 14:05:21
171
原创 使用Html Agility Pack快速实现解析Html(C#)快速解析 href标签属性
using System;using System.Collections.Generic;using System.IO;using System.Linq;using System.Text;using System.Threading.Tasks;using HtmlAgilityPack; //需要添加的命名空间namespace H...
2020-04-09 14:03:44
850
原创 在centos7下安装gitlab-runner
https://www.cnblogs.com/houss/p/11341059.htmlhttps://blog.csdn.net/weiguang1017/article/details/77720778https://www.cnblogs.com/ws17345067708/p/10492031.htmlhttps://www.cnblogs.com/w...
2020-04-08 20:41:08
800
原创 linux下mysql多实例启动文件配置 success
参考https://blog.csdn.net/weixin_34004750/article/details/92499204要修改配置文件路径************
2020-04-08 20:12:34
300
原创 C#HtmlAgilityPack.HtmlDocument和HtmlAgilityPack.HtmlNode的使用
C# HtmlDocument和HtmlNode的使用以及节点的模糊查询C#HtmlAgilityPack.HtmlDocument和HtmlAgilityPack.HtmlNode的使用 HtmlAgilityPack.HtmlDocument response = null; //HtmlAgilityPack.HtmlNode类和HtmlAgil...
2020-04-08 11:49:39
1259
原创 HtmlAgilityPack，C#实用的HTML解析类 ---- HtmlNode类
HtmlAgilityPack中的HtmlNode类与XmlNode类差不多，提供的功能也大同小异。下面来看看该类提供功能。一、静态属性public static Dictionary<string, HtmlElementFlag> //ElementsFlags;获取集合的定义为特定的元素节点的特定行为的标志。表包含小写标记名称作为键和作为值的 HtmlElementF...
2020-04-08 11:48:35
593
原创 docker 镜像下安装Vim
首先，进入docker镜像 #进入镜像命令 docker exec -it 镜像Id或镜像name /bin/bash 在使用docker容器时，有时候里边没有安装vim，敲vim命令时提示说：vim: command not found，这个时候就需要安装vim，可是当你敲apt-get install vim命令时，提示： Reading ...
2020-03-29 15:58:02
636
原创 Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker
https://blog.csdn.net/hw900115/article/details/80495568参考 1.用网上找的网易加速镜像docker pull hub.c.163.com/library/mysql:5.72.重命名镜像docker tag hub.c.163.com/library/mysql:5.7 mysql:5.73.现在我们查看...
2020-03-29 15:05:37
1183
原创 mysql grant 创建用户已经授权
CREATE USER 'jeffrey'@'localhost' IDENTIFIED BY 'mypass';GRANT ALL ON db1.* TO 'jeffrey'@'localhost';GRANT SELECT ON db2.invoice TO 'jeffrey'@'localhost';GRANT USAGE ON *.* TO 'jeffrey'@'localho...
2020-03-29 14:56:48
413
原创 cmakenewsuccess 成功版本 详细版本
cmake编译安装mysql前言：这里我使用的安装方式是（cmake编译），我选择的版本是：cmake-2.8.8.tar.gz、mysql-5.5.32.tar.gz[root@mysql package]# lltotal 29580-rw-r--r-- 1 root root 5691656 May 29 11:52 cmake-2.8.8.tar.gz-rw-...
2020-03-27 23:48:36
243
原创 Xshell实现Windows上传文件到Linux主机
经常有这样的需求，我们在Windows下载的软件包，如何上传到远程Linux主机上？还有如何从Linux主机下载软件包到Windows下；之前我的做法现在看来好笨好繁琐，不过也达到了目的，笨人有本方法嘛；我是怎么操作的：1、打开一台本地Linux虚拟机，使用mount 挂载Windows的共享文件夹到Linux上，然后拷贝数据到Linux虚拟机里面；（经常第一步都不顺利，无法挂载Windo...
2020-03-27 23:24:44
271
原创 docker 下安装mysql
不要安装最新版本https://blog.csdn.net/u012102536/article/details/102894763打开vim /etc/docker/daemon.json配置阿里云的镜像 { "registry-mirrors":["https://6kx4zyno.mirror.aliyuncs.com"] } ...
2020-03-27 22:25:28
104
原创 使用Robo 3T操作MongoDB数据库
一、创建数据库和集合二、用命令对user集合进行增删改查安装Robo 3T连接MongoDB数据库教程：https://blog.csdn.net/baidu_39298625/article/details/98845789在IDEA中用三个jar包链接MongoDB数据库——实现增删改查：https://blog.csdn.net/baidu_39298625/article...
2020-03-27 22:05:44
2180
原创 mongodb 加最高权限的用户和密码 robo3t 连接的是不至于没权限
表示没有权限，那就赶紧添加用户吧切换到admin库use admin;添加用户db.createUser( { user: "sa", pwd: "sa", roles: [ { role: "root", db: "admin" } ] });既然已经添加了用户用sa账号登录db.auth('sa','sa');...
2020-03-27 22:02:35
1173
原创 重启虚拟机后dhclient进程未运行解决办法
https://www.cnblogs.com/jiawei2527/p/10778938.html问题分析重启虚拟机后，dhclient进程未运行的根因通常为：1.NetworkManager未开启自启动导致的dhclient进程未运行2.网卡设置未纳入NetworkManager管理导致的处理方法：1.确认dhclient是否运行 ps -ef|grep ...
2020-03-21 20:09:39
3328
原创 克隆虚拟机重新设置ip
https://blog.csdn.net/etna_hh/article/details/82828239第一步：克隆1.利用 VMware 的克隆工具，右键 虚拟机名字---》管理----》克隆 。然后都是下一步下一步操作即可。2.这里我们用 上面的虚拟机克隆出另外一台虚拟机 slave1第二步：克隆完成后，开启虚拟机 slave1 。然后配置IP。注意：完成以后启动...
2020-03-21 19:08:29
1083
原创 vmware虚拟机15 安装centos764 并且配置网络
1参考https://blog.csdn.net/nuoyanli/article/details/86503686配置网络注意两个坑1 配置好了mac 地址 还是报错 可能是 出现了两个配置文件 ，只能有一个配置文件2 确定好只有一个配置文件 和新加一个mac地址 后 还是报错 无法上网3重启 stop networkmanager等4 在设置里面...
2020-03-21 17:57:17
181
原创 从0 到1 在本地计算上创建.netcore 项目到发布部署在阿里云linux下cenos服务器下到外网访问
1 在本地计算机上下载vscode 并且安装 https://code.visualstudio.com/download 参考https://www.cnblogs.com/williamwsj/p/10155556.htmlhttps://www.jianshu.com/p/4c9e076d74da 完整的.netcore web项目 打包并且发布编译...
2020-02-20 18:27:21
234
转载 数据库水平切分的实现原理解析－－－分库，分表，主从，集群，负载均衡器
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台
2017-07-05 13:32:50
465
转载 缓存穿透、缓存并发、缓存失效之思路变迁
我们在用缓存的时候，不管是Redis或者Memcached，基本上会通用遇到以下三个问题：缓存穿透缓存并发缓存失效一、缓存穿透Paste_Image.pngPaste_Image.pngPaste_Image.png注：上面三个图会有什么问题呢？我们在项目中使用缓存通常都是先检查缓存中是否存在，
2017-06-05 11:39:57
378
转载 axure实战经验
前言：在产品经理工作中，特别是初级产品经理，制作原型是主要工作之一。Axure是用的最顺手的原型制作软件，虽然制作移动端在效果上并不是很好，但作为不需要做高保真原型的情况下已经基本足够了。下面总结一下自己在使用Axure的一些可以提高效率的技巧：1、首先最立竿见影的就是使用母版。使用母版的好处就是省去重复工作，直接拖拉就行。一开始觉得也可以用Ctrl+C和Ctrl+V代替，但是，但
2016-05-03 14:09:35
543
原创 话说RFID以前很火所以整理一下一年前自己处理的RFID程序，放源码
一开始觉得他是个很神奇的东西。 包含串口通讯和网络通讯。 由于网络通讯设备太贵，所以国内的设备基本上都是在外置一个比较便宜的模块在里面。 本案例应该适用于大多数的RFID模块。 首先我们先放上RFID API：如下 using System;using System.Collections.Generic;using
2016-04-16 00:12:37
8180
原创 不同服务器数据库之间的数据操作，数据同步
不同数据库数据同步 INSERT INTO TB_BASE_USER_ORGANISEUNIT([GH] ,[ORGANISEUNITID] ,[U_ORDER] ,[COM_DEPTCODE] ,[COM_DEPTNAME] ,[U_VALIDATE])SELECT [GH] ,[ORGANISEU
2016-04-14 23:39:25
5430
转载 网站代码该如何优化？
说到网站站内代码优化，可能有些朋友不知道该如何下手，以及该如何真正做好站内代码优化，提升网站的打开速度。并使我们网站的用户体验,能得到一个很好的提升呢？段亮认为有以下几点：一、对JS文件的存放位置想必大家都知道放JS的位置吧？可能大多数只知道位于head标签之间，只有很少本分人知道放置body之前。本人建议：除非你那JS是一打开网站就需要用的，可以放到head标签内。其余的可以放置
2016-03-04 19:13:32
6238
1
转载 webapp移动端适配方案之“手淘框架flexible”
前言：这篇文章,本来准备在去年年底的时候,分享给大家的。可由于年末工作比较忙的原因,再加上自己的一些情况,就一直拖到现在才开始写。好了废话不多说啦!我们一起来看看,手淘的这个“flexible”库是怎么用的。在学会用之前,我们还是先了解一些东西吧!一、基本概念 1、视窗viewport 可能写过移动端的朋友就知道viewport是什么意思。
2016-03-04 18:58:13
2792
转载 移动端开发需要注意的一些事情
不知不觉,做移动端开发也有半年的时间了。从刚开始接触移动端开发,到现在的细节完善。期间也走了很多坑!为什么会走这么多坑呢?可能身边做前端开发的朋友比较少,想找个人一起研究技术的都没。也加过一些前端群,大多数些扯淡聊天的群。没办法,只得自己去苦逼的研究!下面一起来分享下,我做移动端开发半年来的一些经验,以及需要注意的一些东西吧!一、关于单位的使用相信只要做
2016-03-04 18:53:59
2596
转载 HTML5移动端手机网站开发流程
最近一直在研究移动手机网站的开发，发现做手机网站没有想象中的那么难。为什么会这么说呢？我们试想下:我们连传统的PC网站都会做，难道连一个小小的手机网站难道都搞不定吗？其实手机网站就是一个微缩版的PC网站罢了！至于为什么觉得难、觉得无从下手。段亮觉得有以下几点：一、没有完整的思路和流程就像做网站的流程一样，如果你能知道它的流程，我相信就不会觉得做手机网站难！真正难的是你没有思
2016-03-04 18:48:38
40403
4
转载 Java https服务器证书认证问题解决方案
Java https连接的”unable to find valid certification path to requested target”,”PKIX path building failed”错误问题原因这个问题的是由于Java自带的根证书库中不包含HTTPS服务器上的根证书，因此无法得到认证。解决方案比较容易实现的方案有两种：导入服务器证书到本
2016-03-04 11:12:44
925
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人