- 博客(34)
- 收藏
- 关注
原创 ElementNotVisibleException: Message: element not visible 【笔记】
使用selenium的过程中经常会遇到这个错误,看文章说是节点含有 none display hidden,这些属性,但是我发现我爬取的页面是不含有这些属性的,对于用户来说是完全可见的,然后我想是否需要将鼠标聚焦到这个input上才能起作用,尝试了这样的方法from selenium.webdriver.common.action_chains import ActionChainsActionC...
2018-06-15 19:26:01
6140
1
转载 pip visual c++ is required 问题
https://blog.csdn.net/hunteryoung0718/article/details/79435882
2018-05-30 09:55:46
880
原创 scrapy item are not Json ser... item无法json序列化问题的解决
如果param就是整个item,直接dict如果像{'',[item,item]}这种,插入列表时将item转化为字典list.appeng(dict(person_item))
2018-04-21 16:21:41
1008
原创 【方法】python生成大写32位uuid
import uuiddef getUUID(): return "".join(str(uuid.uuid4()).split("-")).upper()
2018-04-18 17:36:44
5203
1
原创 pymongo sort
db.collecionname.find().sort("UserName",pymongo.ASCENDING) --升序db.collecionname.find().sort("UserName",pymongo.DESCENDING) --降序
2018-04-18 15:59:39
2012
原创 【笔记】mysql 修改primary key的列
有时我们创建的表需要修改主键的定义的列,这时需要先删除主键alter table tablename drop PRIMARY KEY然后添加主键alter table tablename ADD PRIMARY KEY('col_name')
2018-04-17 10:37:18
15659
1
原创 【笔记】linux 下python多进程启动程序
导入包from multiprocessing import Pool, cpu_countdef split(tasks, core,list_count): """ 切分任务 """ each_part = math.ceil(list_count / core) + 1 parts = [] part = [] for index, ...
2018-04-16 15:50:37
3097
转载 【笔记】call,apply,bind的区别
1,call()、apply()、bind() 都是用来重定义 this 这个对象的! 如: obj.myFun.call(db); //德玛年龄99 obj.myFun.apply(db); //德玛年龄99 obj.myFun.bind(db)(); //德玛年龄99 以上出了bind 方法后面多了个 () 外 ,结果返回都一致! 由此得出结论,bing...
2018-04-15 16:59:07
133
转载 sublime text 常用快捷键
Sublime Text 3 快捷键精华版Ctrl+Shift+P:打开命令面板Ctrl+P:搜索项目中的文件Ctrl+G:跳转到第几行Ctrl+W:关闭当前打开文件Ctrl+Shift+W:关闭所有打开文件Ctrl+Shift+V:粘贴并格式化Ctrl+D:选择单词,重复可增加选择下一个相同的单词Ctrl+L:选择行,重复可依次增加选择下一行Ctrl+Shift+L:选择多行Ctrl+Shift...
2018-04-14 17:49:32
260
转载 【笔记】js 中const,var ,let的区别
const 定义的更像一个常量,一定要做初始化,并且在函数外定义无法修改。var 定义的更像一个全局变量,如果在函数外定义了一个变量,在函数里面可以修改它的值let 的作用于是函数内。详细请参考:https://www.cnblogs.com/ksl666/p/5944718.html...
2018-04-14 17:45:37
105
原创 【笔记】NPM 淘宝镜像长久配置
npm config set registry https://registry.npm.taobao.org查看是否生效npm config get registry// 或npm info express
2018-04-14 16:57:03
316
原创 【笔记】python generator yied
如果一个函数包含了yield,那么这个函数就成了一个generator,generator是一个迭代器,它遵循遵循迭代器(iterator)协议,迭代器协议需要实现__iter__、next接口能过多次进入、多次返回,能够暂停函数体中代码的执行取一次,执行代码到第一个yiled,第二次去从第二个yield开始执行,直到写出取到最后一个会报stopIteration异常,但是 for循环可以捕获此异...
2018-04-14 10:22:25
271
原创 【笔记】mybatis 遇到所有更新的字段都是null或空字符串
在做mybatis更新时,因为我想到作为查询的字段不需要更新所以就没写在trim里面,结果出现了如下错误:这里的altBefore 和 altAfter两个字段都是空字符串,所以mybatis在拼接语句时报了上面的错误,并没有把这两个字段拼上,所有在写更新语句时最好加上一个唯一标识的字段,以避免出现上面的错误...
2018-04-13 15:24:02
11057
原创 【笔记】windows User目录的作用
windows user目录下这两个文件夹,一个是当前用户的文件夹,一个是对于所有用户的功用文件夹,这里面存放的是一些常用的配置,如图当我们需要简化某些操作时,就需要在这里配置,比如配置国内镜像源的全局配置自己新建了一个pip文件夹,里面放入了一个pip文件,文件内容是[global]trusted-host=mirrors.aliyun.comindex-url=http://mirrors.a...
2018-04-13 12:00:18
4526
原创 python pip 安装一些包找不到的问题 Could not find a version that satisfies....
有时我们使用下载python 自带的pip 安装一些工具包时,会报如下错误找不到满意的版本,这时就是我们的pip可能需要升级了,所以使用python -m pip install --upgrade pip升级一下pip ,--upgrade 后面跟的是需要升级的库名然后继续尝试发现还是不行,会报相同的错误,这时考虑到是网络的问题,我的网有时候是不稳定的,这时我们用国内的镜像源来加速pip ins...
2018-04-13 10:54:39
321473
77
原创 idea 提示 string template are not supported current JavaScrip Version 的解决【笔记】
当我们第一次使用idea 打开一个项目,打开其中的js文件时,会出现个如下错误意思是不支持当前js版本,这里是我的代码js版本较高,但是idea默认的js版本较低,这时点击File点击settings如图所示将js升级成你需要的版本就可以了,这里我用的是 React-JSX...
2018-04-12 19:46:40
4149
1
原创 pika.exceptions.ConnectionClosed 问题的解决
最近一个处理程序总是遇到 pika.exceptions.ConnectionClosed 这个问题,一开始以为是超时问题,结果增加了超时时间运行了一天又报错了,所以查阅资料,https://stackoverflow.com/questions/37321089/rabbitmq-pika-exceptions-connectionclosed/37528066这里面给说是因为主进程长时间等待,...
2018-04-11 12:38:55
8167
原创 linux Too Many Files 问题查看和解决方法
今天一个python处理程序报错 Too Many Files,只看一看就是打开了太多文件,文件是用多进程启动的,一共看了16个子进程,然后我用 ulimit -a 查看 当前系统设置的最大句柄core file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedscheduling priority...
2018-04-11 11:15:31
5668
原创 mysql创建前缀索引
ALTER table 表名 add index title_pre(列名(100))列名后面的数字代表前缀的长度,前缀长度并不是越长越好,这里涉及到一个选择性问题,select count(distinct 列名)/count(*)as a,COUNT(DISTINCT left(列名,100)) as b, COUNT(DISTINCT left(列名,110)) as c from 表名来查...
2018-04-10 14:33:05
9026
转载 mysql 修改表字段默认值
alter table 表名 alter column 字段名 drop default; (若本身存在默认值,则先删除)alter table 表名 alter column 字段名 set default 默认值;(若本身不存在则可以直接设定)ALTER TABLE user ALTER columncreatetime SET DEFAULT CURRENT_TIMESTAMP转自 ...
2018-04-09 10:39:54
27947
1
原创 Mybatis 模糊查询 like【笔记】Could not set parameters for mapping
当使用mybatis 做模糊查询时如果这样写会报 Could not set parameters for mapping: ParameterMapping{property='keywords'# 是起的占位符的作用,但是写在了字符串里面无法起到占位符的作用,这是我们要用 $这里 $ 接收内容并且连接字符串,所形成的sql 就是 select id,name from tablename w...
2018-04-08 16:48:11
7017
原创 wordpress 直接操作数据库显示文章
有时我们想做一些爬虫直接放到wordpress 数据库里,然后在网站上直接显示出来,这是应该怎么做呢,其实很简单如图,wp_post这张表就是放你文章的内容 时间,标题等等一些信息,让我们看一下表结构ID ——自增idpost_author ——文章作者post_date ...
2018-03-31 15:08:21
6792
2
原创 JAVA foreach 遍历列表为nulll 的问题【笔记】
之前一直以为foreach可以遍历null 和空列表,今天做测试如下:看来对于null值 foreach是不会做判断的,异常出在了22行,刚好能说明这一点,那么我们再来看看空列表看来对于空列表foreach并不会报异常,不回进入到方法里...
2018-03-30 14:35:30
24165
原创 SpringBoot Unable to find a @SpringBootConfiguration, you need to use @ContextConfiguration
如异常所译,你需要在注解上加上@SpringBootTest(classes = Application.class)或者使用@RunWith(SpringJUnit4ClassRunner.class)@ContextConfiguration(classes = {JPAConfig.class})or@RunWith(SpringRunner.class)@ContextConfigu...
2018-03-30 14:27:49
149659
80
原创 @Transient 注解扩展字段
当我们在数据表里和我们的实体类里的字段不一致时,我们现在实体类里添加一些字段作为临时变量使用,做更删改操作的时候不修改数据表结构,这时我们就需要用到 @Transient transient使用小结1)一旦变量被transient修饰,变量将不再是对象持久化的一部分,该变量内容在序列化后无法获得访问。2)transient关键字只能修饰变量,而不能修饰方法和类。注意,本地变量是不能被transi...
2018-03-29 17:09:16
1075
原创 mysql 联表更新
update A a , B bset a.companyid=b.id where a.companyname=b.name and a.companyid=''注意 查询的条件要放在后边,否则会报不是更新表的错 table is not uptable
2018-03-29 14:47:47
8628
原创 python global 错误记录【笔记】
一开始想定义一个全局变量,在别的方法里可以改变,然后在本方法里也是改变之后的值,然后测试发现是改变不了的,比如我在start方法里面定义了a=0在startA方法里改变a=3,改变的值只在startA方法里起作用,start 方法里的a还是1...
2018-03-28 18:36:48
1149
原创 scrapy POST发送json 数据
scrapy Post 发送数据是我们通常会用yield scrapy.FormRequest( url = url, formdata = {"email" : "xxx", "password" : "xxxxx"}, callback = self.parse_page )来发送请求,但这是发送heade...
2018-03-28 16:24:12
10417
原创 python2 和python3 共存 scrapy 启动问题
python3 -m scrapy crawl 工程名称python -m scrapy crawl 工程名称定时循环执行scrapy 项目,用schedulers框架from scrapy.cmdline import executeimport osfrom apscheduler.schedulers.blocking import BlockingScheduler# execut...
2018-03-28 16:14:22
1198
原创 python 2 和python3 共存 使用命令问题【笔记】
为了解决命令的冲突,我们需要改变python.exe名称这样就可以使用 python3 *.py 命令了 ,用python2启动就用 python *.py
2018-03-28 16:08:11
328
原创 常用linux命令【笔记】
tail -f -n *.out 动态查看.out日志ps -ef|grep dingshi.py|grep -v grep|cut -c 9-15|xargs kill -9 强制杀死 名称为dingshi.py文件的进程nohup python dingshi.py > dingshi.out & 指定生成文件名为 dingshi.out 后台运行 dingshi....
2018-03-28 16:04:17
160
原创 maven gernerator生成代码插件命令
mvn mybatis-generator:generate首先需要安装maven环境变量打开控制面板然后配置java环境变量和maven环境变量然后配置PATH,要和java放一起,不然还是会报找不到mvn命令然后使用echo %PATH%重新加载环境变量查看 mvn 版本mvn -v完成...
2018-03-28 15:54:14
811
原创 gitignore 提交git忽略的文件【笔记】
.DS_Store*/.DS_Store.project.settings/**/.classpath*/.project*/.settings/*targettarget/**/bin/*logs/**/bin/**.log*/*.log*/*.log.**/workspace.xml.svn/**.class.classpath/.externalToolBuilders/.idea*.iml...
2018-03-28 15:13:48
214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人