- 博客(37)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MongoDB 的增、查、改、删
KaTeX parse error: Expected 'EOF', got '}' at position 6: eq: 1}̲}) 等价于 find({_i…KaTeX parse error: Expected 'EOF', got '}' at position 6: ne: 1}̲}) |id!KaTeX parse error: Expected '}', got 'EOF' at end of input: …格式：find({查询条件，可以空},{显示的字段:1})
2023-07-28 10:46:26
882
原创 入职面经！！！
扩容的时候，其中hashmap的扩容是并发问题的难点，当到达0.75的时候开始扩容，它通过采用新建一个新的hash表，数量是之前表的2倍。这个是线程安全的list ，原理是每次添加创建一个长度+1的新数组，然后创建完成后，把之前的数据添加进来，完成添加，这种的对内存的浪费。就是通过GCroot ,判断这个对象是不是在他的引用链上，如果在他的引用链上就不清除，如果不在，则清除。1.申明事务的方法必须是public的，因为事务也是基于反射去获取方法的，如果你用的是其他的方法，就获取不到方法。...
2022-08-03 09:47:53
174
1
原创 docker部署elasticsearch，并且springboot中集成elasticsearch保姆级教程（二）
整合es到springboot之中，并且采用docker的部署方式
2022-06-27 16:11:43
201
原创 docker部署elasticsearch，并且springboot中集成elasticsearch保姆级教程（一）
docker部署elasticsearch，并在springboot中集成elasticsearch，并且使用api
2022-06-13 22:18:56
929
原创 java复习（自用）
2021.1.17今天看到的一个mybatis中。源码讲解//先上代码interface Mappers{ @Select("select * from User") List<Integer> selectAll(int i);}public class Cesjo { public static void main(String[] args) { Mappers mappers = (Mappers) Proxy.newProxyInst
2022-02-10 11:00:52
243
原创 SpringSecurity动态实现拦截url请求（不需要理解太多SpringSecurity源码）
项目背景：最近自己再封装搭建一个简单的框架，里面用到了SpringSecurity,所以也就有了前面两篇文章，这期文章是要说在搭建的过程中，每次写Controller的时候，假如这个接口不需要登录就可以访问，是不是还要在配置文件中配置一下，这种方式如果在url比较多的时候是比较麻烦的。这里给大家一个实现的思路。也不需要懂源码，是比较好理解的一种方式。这里主要是解决这种下图这种繁重的配置方式。如果太多需要放行的url，下面就会有一长串。思路：刚开始也看了一阵源码。网上看到的一篇文章，他说Filt..
2022-02-04 18:51:02
6408
4
原创 记录一次油猴脚本开发的Demo（入门级）、开发过程
记录一次开发油猴脚本的demo前言：之前听别人讲油猴脚本怎么怎么地，怎么怎么样，一直以为是个很难的东西，所以在上周五的时候，就自己看了一下，这个东西也不太难。主要还是js玩的6就行了。当然了我的js就算了。勉勉强强的。废话不多说，进入正题。这个油猴脚本在爬虫这块的应用就是发送cookie，有时候，我们在抓取网站的时候，需要携带网站的cookie，或者是token这些东西的，要是自己能逆向出来，自己生成cookie，token这些东西还好说，要是能力不够的话，这些东西每次都需要自己复制，这样子就很麻烦，所
2021-01-18 11:54:10
2991
4
原创 python3的信号量的东西！！！！！
多线程和多进程从目前我用的角度来看，我用它来做的作用就是一个下载爬下来的文件呢，所以我们的io操作比较密集，多线程在本质上说在一个时间片内仅仅只有一个线程在执行，所以并不是真真意义上的多线程并发执行，而多进程是发挥我们cpu多核的优势，在同一个时间片内是有多个进程在同时的执行。所以对于io比较密集的，我们还是用多进程比多线程更加好一点。回到正题啊。import timeimport threadings1 = threading.Semaphore(5) # 添加一个计数器def foo
2020-09-22 16:43:59
325
原创 docker学习笔记,目的是为了部署crawlab啊！！！！！
下载镜像docker pull 要下载的镜像https://hub.daocloud.io/ 在这个里面去找镜像lg docker pull daocloud.io/library/nginx:latest (下载nginx的镜像)查看我们下载好的镜像docker images一个镜像运行起来就是一个容器镜像的一些操作1.简单的操作docker run 镜像的标识|镜像名称[:tag]2.常用的参数docker run -d -p 宿主机端口：容器端口 --name 容器名称 镜像
2020-09-03 17:28:26
475
原创 python多线程下载文件模板代码（自用）
先说一下，这个代码是我经常下载文件得一段代码，拿去改改配置，就好了，主要思路就是异步的操作数据库，多线程的下载文件 ，下载，前提是数据库文件名得自己设计成唯一得啊！我这个没有在这个代码里面体现，最终得文件路径是配置文件里面得路径前缀（前缀地址）+年+月+文件名（后缀地址）就是我们最终存放得文件地址，对了在说一下，在数据库里面我没有存文件得最终地址，只是放了文件得后缀地址，就是为了我们的存盘路径发生变化的时候，只需要改配置就行了。配置文件中的前缀地址：数据库中的后缀地址：在给大家看一下目录结构：
2020-08-12 10:07:19
660
原创 scrapy+scrapyd+scrapydweb（centos7）部署爬虫（绝世好文）
绝世好文章，值得阅读！！！！1.目前得情况我们得先写好一个爬虫啊！！！2.要求我们得把爬虫部署到服务器上面！！！首先我们得先下载好我们需要的包，服务器需要scrapyd、scrapydweb这两个包。这两个包下载的位置应该是在python3下的bin目录的下面。我的是在python的安装目录下面的bin目录/usr/local/python3/bin2.创建两个日志文件，一个scrapyd-run.log和一个scrapydweb-run.log日志。我提前创建好了啊。touch sc
2020-07-30 18:02:26
1329
原创 scrapyd得部署得问题啊！！！！！！！！（全网最全）（linux小白专用）
使用场景！！！！！公司需要把爬虫放到服务器上运行，每天定时运行首先，先在我们得服务器上安装我们得python3环境，centos7没有python3，有得是python2，所以我们得自己安装一个python3得环境。这个我就不解释了，自行百度啊。就是安装一个pip3和一个python3最后我们安装上我们得scrapy ，scrapyd，还有一个是scrapyd-client这三个包。1.按道理来说啊，我们安装上scrapy会给我们创建一个软连.接，但是不知道我得为啥没有，所以我自己得创建一个软连接l
2020-07-25 11:32:24
613
原创 天眼查企业查询爬虫
写一个天眼查的爬虫，大家有需要的可以直接拿来用,是基于selenium写的。所以使用之前得下载上这个插件。爬的是上面的那个页面from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC, waitfrom selenium.webdriver.common
2020-07-07 13:03:54
6402
10
原创 python的环境搭建！！！！！！新手注意了
首先是多个版本的python环境搭建我们先下载好我们的python安装包，这里我就不说啥了，网上教程一大堆，也很简单，一键安装的。我们这里要说的是我电脑碰到的情况，看图看到没，电脑估计都蒙了，这导入包的时候，我们是导到哪里了，这谁也不知道，本来是想吧下面的那个删除的，但是发现删除不掉啊，这时让我想起来了，之前我们要在电脑同时安装python3和python2环境的道理，我们把上面那个包下面的python.exe和pythonw.exe。添加上一个词，我的改成这样了。当然了，因为我们环境变量中的配
2020-07-03 09:11:13
187
原创 linux下安装jdk14过程
环境：centos8和jdk14先把jdk的压缩文件放到/usr/local/java 这个java文件是后来新建的解压jdk压缩文件tar -zavf 压缩包名：解压这个压缩包把解压出来的文件改个简单的名字rename 包名 新名因为jdk从9开始就没有jre文件所以需要我们自己生成一个jre文件在，解压的目录之下我们执行这个命令。bin/jlink --module-path jmods --add-modules java.desktop --output jre
2020-06-27 22:21:22
1395
原创 selenium破解某东滑块解锁
有参考其他的文章，自己也写一个。里面有注释。from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.webdriver import Acti
2020-06-21 17:58:02
659
原创 charles爬取app的前期的设置
前提我们的手机和电脑必须处于同一wife的下面工具：华为手机一部先安装上软件charles这个软件，我就不管了啊，这个网上很多，你懂。。。。打开软件后点击在勾选3.给电脑安装证书一直下一步就好了。4.点击这个再就可以直接手机安装证书了。5.先查看我们电脑的ip地址。打开华为手机，配置我们的手机代理。打开wlan，然后点击修改网络在其中配置我们的代理，勾选代理为手...
2020-04-29 18:57:02
159
原创 学习python第某天-splash爬取豆瓣评论
话不多说代码献上。#coding=utf-8import requestsimport randomfrom lxml import etreeimport csvsplash_url ="http://localhost:8050/render.html"with open('a.csv','w') as p: #转化为csv的操作方式，当然了要是读取的话也要有这么一个操作...
2020-03-12 17:42:03
138
原创 ps竖图变横图
纯属兴趣爱好啊！！！，感兴趣的可以看看由来：最近兴趣来了，我把ps又下载上了（由于电脑重装系统，我就再没装过，之前自己学习了很长一段时间，今天再整下来）‘1. 我们先上原图和操作后的效果图。大家看看效果。原图效果图：不知道大家看到区别了没。说说要是换做以前，直接ctrl+T的的话会使我们的中间人物变形，如下图2.制作步骤步骤一：我们先把图片横向放大如下图，具体方法就是用裁剪工...
2020-02-22 01:01:43
2486
原创 自己搞一个免费的IP代理池
这几天在家里面一直在做一个爬虫，前天突然发现ip由于过于频繁的访问被禁用了，所以在这里搞一个免费的ip代理池供大家使用，当然了，我们就不爬网站了，有现成的网站，要自己想爬也可以，我们用到的网址是IP列表https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list还有用到一个可以获取访问ip的网址，验证ip’http...
2020-02-20 18:24:50
1823
原创 adb使用心得
这几天闲得无聊，就试着做一下app的测试，其中用到了adb这个命令，我们在这里记录一下。1.adb连接夜神模拟器adb connect 127.0.0.1:620012.先放个图片啊查看当前连接的设备（2个）adb devices如何是两台机器的话，我们用shell命令进入机器中：adb -s emulator-5554 shell如果是一台就不用那么麻烦了：adb sh...
2020-02-10 15:56:47
331
原创 常用的npm命令
最近在研究appium，其中就有使用node，所以总结一些npm的常用命令在安装的时候，我们应该创建node_global和node_cache两个文件夹，然后在配置路径npm config set prefix "node_global的路径"npm config set cache "node_cache的路径"注意一下：可能上面配置的时候会出现错误，此时我们就可以直接到C盘底下...
2020-02-07 12:07:18
243
原创 使用pycurl爬取一个特别的网站
（一定请仔细看）前几天在群里面有朋友推给我一个HS链接，我就打开看了，这个链接有个特别的地方，他需要我收藏起来，才能看到他本身的页面，如果你不收藏的话，呵呵，直接给你传送到aiqiyi，而且电脑上我也看了也不行，模仿手机操作也不行，后来在网上认识了一个做网络安全的大哥他给试了一下，能行，后来我问了一下他的思路，他是这么说的，这个页面跳转的肯定是js控制的，那就跳过js就行了，然后他在linux上使...
2020-01-16 11:38:12
366
原创 selenium操作163邮箱发送邮件
之前见到有很多人发多人用selenium写操作163，发送邮件，自己也写一个。让大家熟悉一下selenium的一些方法。话不多说，代码奉上。from selenium import webdriverimport timedef login(): driver = webdriver.Chrome() driver.get('http://mail.163.com') ...
2020-01-14 13:37:00
707
原创 一直忘，写个python中常用的玩意
pip install -i 国内镜像地址 包名e.g. pip install -i http://mirrors.aliyun.com/pypi/simple/ numpy 这是临时指定镜像地址清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 http...
2020-01-13 17:21:12
133
原创 一个连接mysql数据库的小工具包。
连接mysql数据库的工具包，直接复制上就可以用今天没事情做，我就把我之前在网上看到的一个连接mysql的工具包放出来，很好用的，话不多说直接上代码，有用别人的，也有自己加的，算半个原创吧。import pymysql########连接数据库###############def createConnection(): db = pymysql.Connect( ...
2020-01-09 10:09:23
351
原创 解决Mongodb4.0.4启动的时候服务名无效的错误
前面先简单的说一下我们的配置情况介绍一下查看mongodb的版本的命令如下mongo --versionmongod --version第一步：在根目录下我们创建一个data的文件夹，在data目录下创建一个db文件夹；然后在根目录继续创建一个log的文件夹，在log目录下创建一个mongo.log的文件。第二步 ：在你的mongdb中的bin目录下，创建一个config文件，文件的具...
2019-12-30 13:51:12
680
原创 xpath和beautifulsoup爬取网页的demo
这里面beautifulsoup和xpath都有用到，还有csv保存和excel保存的方式都有，写入到excel使用的是openpyxl。import requestsimport csvfrom wutils import defNumfrom bs4 import BeautifulSoupfrom lxml import etreeimport openpyxldef reso...
2019-12-26 16:06:42
387
1
原创 关于对象和json之间的互相转化的问题
首先说json在Java中有两个对象，一个是JSONObject、一个是JSONArray。先说一下这个由对象或集合变json对象的过程。我们先说这个JSONObject这个，这个是针对 对象的。普通对象Bean bean=new Bean("王","13"); //属性 name ageJSONObject json=JSONObject.fromObject(bean);/*...
2018-09-24 22:06:09
336
专业爬虫鬼鬼js调试.rar
2020-08-12
phantomjs-2.1.1-windows.zip
2020-02-10
appium.zip
2020-02-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人