自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(37)
  • 资源 (3)
  • 收藏
  • 关注

原创 去除【关注博主即可阅读全文】插件

去除关注博主即可阅读全文插件

2024-04-19 09:02:33 225

原创 MongoDB 的增、查、改、删

KaTeX parse error: Expected 'EOF', got '}' at position 6: eq: 1}̲}) 等价于 find({_i…KaTeX parse error: Expected 'EOF', got '}' at position 6: ne: 1}̲}) |id!KaTeX parse error: Expected '}', got 'EOF' at end of input: …格式:find({查询条件,可以空},{显示的字段:1})

2023-07-28 10:46:26 882

原创 linux中的目录文件都是用来做什么的

linux中的目录文件都是用来做什么的。

2023-07-05 10:27:18 534

原创 入职面经!!!

扩容的时候,其中hashmap的扩容是并发问题的难点,当到达0.75的时候开始扩容,它通过采用新建一个新的hash表,数量是之前表的2倍。这个是线程安全的list ,原理是每次添加创建一个长度+1的新数组,然后创建完成后,把之前的数据添加进来,完成添加,这种的对内存的浪费。就是通过GCroot ,判断这个对象是不是在他的引用链上,如果在他的引用链上就不清除,如果不在,则清除。1.申明事务的方法必须是public的,因为事务也是基于反射去获取方法的,如果你用的是其他的方法,就获取不到方法。...

2022-08-03 09:47:53 172 1

原创 java多线程面试相关的一些问题

java中多线程的一些学习笔记

2022-06-27 16:34:24 204 1

原创 docker部署elasticsearch,并且springboot中集成elasticsearch保姆级教程(二)

整合es到springboot之中,并且采用docker的部署方式

2022-06-27 16:11:43 199

原创 docker部署elasticsearch,并且springboot中集成elasticsearch保姆级教程(一)

docker部署elasticsearch,并在springboot中集成elasticsearch,并且使用api

2022-06-13 22:18:56 925

原创 java复习(自用)

2021.1.17今天看到的一个mybatis中。源码讲解//先上代码interface Mappers{ @Select("select * from User") List<Integer> selectAll(int i);}public class Cesjo { public static void main(String[] args) { Mappers mappers = (Mappers) Proxy.newProxyInst

2022-02-10 11:00:52 243

原创 SpringSecurity动态实现拦截url请求(不需要理解太多SpringSecurity源码)

项目背景:最近自己再封装搭建一个简单的框架,里面用到了SpringSecurity,所以也就有了前面两篇文章,这期文章是要说在搭建的过程中,每次写Controller的时候,假如这个接口不需要登录就可以访问,是不是还要在配置文件中配置一下,这种方式如果在url比较多的时候是比较麻烦的。这里给大家一个实现的思路。也不需要懂源码,是比较好理解的一种方式。这里主要是解决这种下图这种繁重的配置方式。如果太多需要放行的url,下面就会有一长串。思路:刚开始也看了一阵源码。网上看到的一篇文章,他说Filt..

2022-02-04 18:51:02 6405 4

原创 SpringSecurity源码解析(二)

SpringSecurity源码解析

2022-01-26 11:29:21 3260

原创 SpringSecurity源码解析(一)

SpringSecurity登录流程源码解析

2022-01-25 23:48:41 623

原创 SpringSecurity学习笔记

SpringSecurity学习笔记

2022-01-13 17:07:29 216

原创 Mybatis批量插入或更新的几种姿势对比

mysql快速批量插入数据到mysql数据库中

2022-01-04 18:53:24 956

原创 JDK动态代理心得

# jdk动态代理讲解今天看了一个文章顿时明白了jdk动态代理的一些东西,没事赶快记录一下。

2021-01-21 11:14:42 119

原创 记录一次油猴脚本开发的Demo(入门级)、开发过程

记录一次开发油猴脚本的demo前言:之前听别人讲油猴脚本怎么怎么地,怎么怎么样,一直以为是个很难的东西,所以在上周五的时候,就自己看了一下,这个东西也不太难。主要还是js玩的6就行了。当然了我的js就算了。勉勉强强的。废话不多说,进入正题。这个油猴脚本在爬虫这块的应用就是发送cookie,有时候,我们在抓取网站的时候,需要携带网站的cookie,或者是token这些东西的,要是自己能逆向出来,自己生成cookie,token这些东西还好说,要是能力不够的话,这些东西每次都需要自己复制,这样子就很麻烦,所

2021-01-18 11:54:10 2988 4

原创 python3的信号量的东西!!!!!

多线程和多进程从目前我用的角度来看,我用它来做的作用就是一个下载爬下来的文件呢,所以我们的io操作比较密集,多线程在本质上说在一个时间片内仅仅只有一个线程在执行,所以并不是真真意义上的多线程并发执行,而多进程是发挥我们cpu多核的优势,在同一个时间片内是有多个进程在同时的执行。所以对于io比较密集的,我们还是用多进程比多线程更加好一点。回到正题啊。import timeimport threadings1 = threading.Semaphore(5) # 添加一个计数器def foo

2020-09-22 16:43:59 325

原创 docker学习笔记,目的是为了部署crawlab啊!!!!!

下载镜像docker pull 要下载的镜像https://hub.daocloud.io/ 在这个里面去找镜像lg docker pull daocloud.io/library/nginx:latest (下载nginx的镜像)查看我们下载好的镜像docker images一个镜像运行起来就是一个容器镜像的一些操作1.简单的操作docker run 镜像的标识|镜像名称[:tag]2.常用的参数docker run -d -p 宿主机端口:容器端口 --name 容器名称 镜像

2020-09-03 17:28:26 475

原创 python多线程下载文件模板代码(自用)

先说一下,这个代码是我经常下载文件得一段代码,拿去改改配置,就好了,主要思路就是异步的操作数据库,多线程的下载文件 ,下载,前提是数据库文件名得自己设计成唯一得啊!我这个没有在这个代码里面体现,最终得文件路径是配置文件里面得路径前缀(前缀地址)+年+月+文件名(后缀地址)就是我们最终存放得文件地址,对了在说一下,在数据库里面我没有存文件得最终地址,只是放了文件得后缀地址,就是为了我们的存盘路径发生变化的时候,只需要改配置就行了。配置文件中的前缀地址:数据库中的后缀地址:在给大家看一下目录结构:

2020-08-12 10:07:19 658

原创 scrapy+scrapyd+scrapydweb(centos7)部署爬虫(绝世好文)

绝世好文章,值得阅读!!!!1.目前得情况我们得先写好一个爬虫啊!!!2.要求我们得把爬虫部署到服务器上面!!!首先我们得先下载好我们需要的包,服务器需要scrapyd、scrapydweb这两个包。这两个包下载的位置应该是在python3下的bin目录的下面。我的是在python的安装目录下面的bin目录/usr/local/python3/bin2.创建两个日志文件,一个scrapyd-run.log和一个scrapydweb-run.log日志。我提前创建好了啊。touch sc

2020-07-30 18:02:26 1327

原创 scrapyd得部署得问题啊!!!!!!!!(全网最全)(linux小白专用)

使用场景!!!!!公司需要把爬虫放到服务器上运行,每天定时运行首先,先在我们得服务器上安装我们得python3环境,centos7没有python3,有得是python2,所以我们得自己安装一个python3得环境。这个我就不解释了,自行百度啊。就是安装一个pip3和一个python3最后我们安装上我们得scrapy ,scrapyd,还有一个是scrapyd-client这三个包。1.按道理来说啊,我们安装上scrapy会给我们创建一个软连.接,但是不知道我得为啥没有,所以我自己得创建一个软连接l

2020-07-25 11:32:24 613

原创 天眼查企业查询爬虫

写一个天眼查的爬虫,大家有需要的可以直接拿来用,是基于selenium写的。所以使用之前得下载上这个插件。爬的是上面的那个页面from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC, waitfrom selenium.webdriver.common

2020-07-07 13:03:54 6397 10

原创 python的环境搭建!!!!!!新手注意了

首先是多个版本的python环境搭建我们先下载好我们的python安装包,这里我就不说啥了,网上教程一大堆,也很简单,一键安装的。我们这里要说的是我电脑碰到的情况,看图看到没,电脑估计都蒙了,这导入包的时候,我们是导到哪里了,这谁也不知道,本来是想吧下面的那个删除的,但是发现删除不掉啊,这时让我想起来了,之前我们要在电脑同时安装python3和python2环境的道理,我们把上面那个包下面的python.exe和pythonw.exe。添加上一个词,我的改成这样了。当然了,因为我们环境变量中的配

2020-07-03 09:11:13 187

原创 linux下安装jdk14过程

环境:centos8和jdk14先把jdk的压缩文件放到/usr/local/java 这个java文件是后来新建的解压jdk压缩文件tar -zavf 压缩包名:解压这个压缩包把解压出来的文件改个简单的名字rename 包名 新名因为jdk从9开始就没有jre文件所以需要我们自己生成一个jre文件在,解压的目录之下我们执行这个命令。bin/jlink --module-path jmods --add-modules java.desktop --output jre

2020-06-27 22:21:22 1395

原创 selenium破解某东滑块解锁

有参考其他的文章,自己也写一个。里面有注释。from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.webdriver import Acti

2020-06-21 17:58:02 658

原创 charles爬取app的前期的设置

前提我们的手机和电脑必须处于同一wife的下面工具:华为手机一部先安装上软件charles这个软件,我就不管了啊,这个网上很多,你懂。。。。打开软件后点击在勾选3.给电脑安装证书一直下一步就好了。4.点击这个再就可以直接手机安装证书了。5.先查看我们电脑的ip地址。打开华为手机,配置我们的手机代理。打开wlan,然后点击修改网络在其中配置我们的代理,勾选代理为手...

2020-04-29 18:57:02 159

原创 学习python第某天-splash爬取豆瓣评论

话不多说代码献上。#coding=utf-8import requestsimport randomfrom lxml import etreeimport csvsplash_url ="http://localhost:8050/render.html"with open('a.csv','w') as p: #转化为csv的操作方式,当然了要是读取的话也要有这么一个操作...

2020-03-12 17:42:03 138

原创 ps竖图变横图

纯属兴趣爱好啊!!!,感兴趣的可以看看由来:最近兴趣来了,我把ps又下载上了(由于电脑重装系统,我就再没装过,之前自己学习了很长一段时间,今天再整下来)‘1. 我们先上原图和操作后的效果图。大家看看效果。原图效果图:不知道大家看到区别了没。说说要是换做以前,直接ctrl+T的的话会使我们的中间人物变形,如下图2.制作步骤步骤一:我们先把图片横向放大如下图,具体方法就是用裁剪工...

2020-02-22 01:01:43 2484

原创 自己搞一个免费的IP代理池

这几天在家里面一直在做一个爬虫,前天突然发现ip由于过于频繁的访问被禁用了,所以在这里搞一个免费的ip代理池供大家使用,当然了,我们就不爬网站了,有现成的网站,要自己想爬也可以,我们用到的网址是IP列表https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list还有用到一个可以获取访问ip的网址,验证ip’http...

2020-02-20 18:24:50 1822

原创 adb使用心得

这几天闲得无聊,就试着做一下app的测试,其中用到了adb这个命令,我们在这里记录一下。1.adb连接夜神模拟器adb connect 127.0.0.1:620012.先放个图片啊查看当前连接的设备(2个)adb devices如何是两台机器的话,我们用shell命令进入机器中:adb -s emulator-5554 shell如果是一台就不用那么麻烦了:adb sh...

2020-02-10 15:56:47 331

原创 常用的npm命令

最近在研究appium,其中就有使用node,所以总结一些npm的常用命令在安装的时候,我们应该创建node_global和node_cache两个文件夹,然后在配置路径npm config set prefix "node_global的路径"npm config set cache "node_cache的路径"注意一下:可能上面配置的时候会出现错误,此时我们就可以直接到C盘底下...

2020-02-07 12:07:18 243

原创 使用pycurl爬取一个特别的网站

(一定请仔细看)前几天在群里面有朋友推给我一个HS链接,我就打开看了,这个链接有个特别的地方,他需要我收藏起来,才能看到他本身的页面,如果你不收藏的话,呵呵,直接给你传送到aiqiyi,而且电脑上我也看了也不行,模仿手机操作也不行,后来在网上认识了一个做网络安全的大哥他给试了一下,能行,后来我问了一下他的思路,他是这么说的,这个页面跳转的肯定是js控制的,那就跳过js就行了,然后他在linux上使...

2020-01-16 11:38:12 366

原创 selenium操作163邮箱发送邮件

之前见到有很多人发多人用selenium写操作163,发送邮件,自己也写一个。让大家熟悉一下selenium的一些方法。话不多说,代码奉上。from selenium import webdriverimport timedef login(): driver = webdriver.Chrome() driver.get('http://mail.163.com') ...

2020-01-14 13:37:00 706

原创 一直忘,写个python中常用的玩意

pip install -i 国内镜像地址 包名e.g. pip install -i http://mirrors.aliyun.com/pypi/simple/ numpy 这是临时指定镜像地址清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mirrors.aliyun.com/pypi/simple/中国科技大学 http...

2020-01-13 17:21:12 132

原创 一个连接mysql数据库的小工具包。

连接mysql数据库的工具包,直接复制上就可以用今天没事情做,我就把我之前在网上看到的一个连接mysql的工具包放出来,很好用的,话不多说直接上代码,有用别人的,也有自己加的,算半个原创吧。import pymysql########连接数据库###############def createConnection(): db = pymysql.Connect( ...

2020-01-09 10:09:23 351

原创 解决Mongodb4.0.4启动的时候服务名无效的错误

前面先简单的说一下我们的配置情况介绍一下查看mongodb的版本的命令如下mongo --versionmongod --version第一步:在根目录下我们创建一个data的文件夹,在data目录下创建一个db文件夹;然后在根目录继续创建一个log的文件夹,在log目录下创建一个mongo.log的文件。第二步 :在你的mongdb中的bin目录下,创建一个config文件,文件的具...

2019-12-30 13:51:12 680

原创 xpath和beautifulsoup爬取网页的demo

这里面beautifulsoup和xpath都有用到,还有csv保存和excel保存的方式都有,写入到excel使用的是openpyxl。import requestsimport csvfrom wutils import defNumfrom bs4 import BeautifulSoupfrom lxml import etreeimport openpyxldef reso...

2019-12-26 16:06:42 387 1

原创 关于对象和json之间的互相转化的问题

首先说json在Java中有两个对象,一个是JSONObject、一个是JSONArray。先说一下这个由对象或集合变json对象的过程。我们先说这个JSONObject这个,这个是针对 对象的。普通对象Bean bean=new Bean("王","13"); //属性 name ageJSONObject json=JSONObject.fromObject(bean);/*...

2018-09-24 22:06:09 335

专业爬虫鬼鬼js调试.rar

做爬虫的都知道,因为经常需要逆向,而且比较难找到合适的js调试的工具,但是又需要的一款js调试工具,这款工具降低了我们后端工程师逆向调试js的难度!!!!这里推荐给大家,很好用!!!

2020-08-12

phantomjs-2.1.1-windows.zip

这个东西本以为挺快的下载,结果发现这玩意也是在外面,下载速度有点慢,费劲找了一个这玩意,希望大家多多支持,下载也不容易啊,谢谢支持。

2020-02-10

appium.zip

appium-windows-1.15.1这个东西是我费了老半天找到的,国内下载速度的原因,所以下载的速度特别的慢,这里我把这个软件下载的好了,提供给大家,希望大家可以支持一波,谢谢大家了。

2020-02-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除