- 博客(29)
- 收藏
- 关注
RSS订阅原创 cannot import name ‘url_quote‘ from ‘werkzeug.urls‘
【代码】cannot import name ‘url_quote‘ from ‘werkzeug.urls‘
2024-02-07 18:13:05
322
1
原创 在Pycharm中使用Bookmark Mnemonic随意快速跳转代码
代码量大了，跟踪代码是一件很痛苦的事情，虽然可以通过文件、函数、类等等手段定位相关代码，或者通过撤销操作快速定位到前一个修改位置，但这些都不能准确到达想要到达的代码位置，还需要一番查找，尤其是函数比较大的时候。Mnemonic标签与普通标签的区别在于它可以设置标签值，Pycharm会自动设置快捷键。不过我的ctrl+2无法使用，因为ctrl+2我作别的用了。可以设置为1-9， A-Z等值，跳转就非常简单，直接Ctrl+1， CTRL+A等跳转到相应的代码位置。善用Pycharm中的标签是一个极好的办法。
2023-12-21 19:20:57
576
原创 pandas.read_csv遇到ParserError(‘Error tokenizing data. C error错误的根本原因
这里要注意，根据函数的定义，sep在分隔符超过一个字符时，默认为正则表达式，会调用Python parsing engine解析。所以如果碰到上述问题，检测文件格式中是否存在分隔符冲突即可。网上有很多解决方法，但都没有触及根本，比如添加参数error_bad_lines=False, sep=’\t’，或者修改文件后缀等等，其原因都是错误的。根本原因其实就是格式错误，sep是使用csv.Sniffer嗅探器检测csv文件第一行得到的分隔符，包括，；
2023-12-05 02:19:11
347
原创 TypeError: cannot pickle ‘_thread.lock‘ object的一个浅层解决办法
根源出在copy.deepcopy(self)函数上，其在序列化操作时面对_thread.lock会无法序列化。其中循环中注释掉的那一行是原代码，做了一个简单的判断，对于_thread.lock和lock的不做操作，绕过去。所谓浅层解决办法，就是顾头不顾腚，绕过去再说，不是终极解决办法，不过有用咱就先用着。这显然不是去根的办法，不过应应急还是可以的。等我回头有时间了，看看有没有根治的办法吧。函数： _get_spider_loader。
2023-11-01 19:27:55
1078
原创 cannot import name ‘to_native_str‘ from ‘scrapy.utils.python‘解决办法
scrapy.utils.python.to_native_str和scrapy.utils.python.to_unicode()
2023-10-20 02:25:22
149
原创 pandas赋值常见警告SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame
pandas赋值常见警告SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame的正确处理方法
2023-10-04 20:52:49
693
原创 如何检测正则表达式多个字符串的重复出现
普通的正则表达式，?其实很简单，使用正则表达式的组合即（）即可。多个abababab被顺利找出。如果要找出多个ab连续出现，如何操作？
2023-08-27 20:15:55
403
1
原创 Elasticsearch存储scrapy item失败（Unable to serialize）与scrapy Item的序列化serializer问题
其实Item最主要的部分就是一个dict结构，有些时候它使用起来与普通的dict没有区别，但很多时候它无法代替dict的使用，因为dict是基本数据结构，而Item本质是一个class。其实不用那么费劲去研究序列化，scrapy的这个设计个人觉得有点脱裤子放屁的感觉。方法非常低效，不管是使用serializer还是重写serialize_field函数。这样是不是把那个复杂的序列化解决了？研究了半天，发现其原有的。
2023-08-22 12:06:27
103
1
原创 慎用pandas的to_sql
一般很少使用fail，而是使用replace。可replace会删除原表直接添加新表，而to_sql的字段类型都使用的默认text等，会严重破坏原表定义的各种约束如Unique，Primary Key等等，带来很多的未知风险。如果一定要用，要记住将if_exists设置为append，这样原有的表约束都不会破坏，原来的字段定义也会保留，会安全得多。这个函数用起来很舒服，直接用一个connection就把大批数据添加到数据库中。但这个函数有巨大的风险，最主要的就是to_sql的。
2023-07-14 13:00:34
182
1
原创 mysql操作中文字段信息时，一定要注意全角半角符号问题
最近用python操作mysql数据库，让一个“，”符号折腾得不轻，整条SQL语句看不出大问题，就是始终通不过。原来是中文逗号，和英文,逗号的区别。其实我很想使用全英文字段名等，但显示需要转译成中文，有的时候嫌麻烦，就直接输入中文，结果中英文切换出问题，混入这些符号折腾人。
2023-06-11 11:45:15
287
原创 vue与flask(Jinja2)冲突的处理
由于vue和flask都是用双花括弧{{}}嵌入变量，所以在flask中非常容易发生冲突，其实解决也很简单：我这里使用双方括弧，你尽可以修改成你习惯的模式，比如${, }都可以。
2022-06-19 15:33:07
579
原创 微信小程序判断手机号码格式正确与否的代码
11位手机号码判断并不简单，关键是要尽可能的考虑到所有情况。其关键还在于正则表达式的使用：核心代码在这一行：第一组是三个或然选项，1打头，13×，15×，18*等等，然后是八位数字的后缀。其中|为或然选择，^表示从头匹配， $表示匹配到结尾，如此则不需要去掉匹配字符串的前后空格。这样虽然有点严格，但规矩严格一点没坏处。...
2022-06-16 11:15:39
2983
原创 微信小程序判断电话号码格式正确的代码
本例子可以准确判断诸如+0086-010-68747077, (0086)01058323388, 010-832422等格式的正确与否。源代码如下：
2022-06-16 11:09:40
1007
原创 微信小程序表单提交没反应时应该检查focus或autofocus属性
好好的程序，添加了个autofocus属性，试图更好看一点，进入页面就在相关字段闪烁鼠标，结果完蛋了， submit提交时死活没反映。为此花了个把小时，最后才发现这个属性的锅。腾讯做的东西也太烂了，一堆年薪数十万百万的人才做出来这么个东西。...
2022-05-27 12:09:18
662
原创 利用@property标签进行Django模型Model字段的美化和后期处理
所谓模型字段的美化和后期处理，其实质是数据库中存储的数据可能并不是我们想要展示给用户的，不适宜直接在网页进行输出。有个简单的处理方式，即在Model类中利用@property装饰器来模拟标准型Model字段：class U(models.Model): name= models.TextField(blank=True, null=True) 。。。 @property def univ_urls(self): if self....
2021-11-14 22:53:57
766
原创 InterfaceError(‘Error binding parameter 16 - probably unsupported）——pandas插入数据库to_sql常见问题解决方法
其实这个问题之所以发生，是因为sqlite3、mysql等无法处理python数据结构中的复杂数据结构，如元祖tuple，列表list，字典dict等。最简单的解决办法是将对应的列转化成字符串：df_univ['官方网址'] = df_univ['官方网址'].astype('str')如此，问题得到解决。但这没有解决根本，根本的解决办法是重写pandas的to_sql方法，但这是另一个问题了。...
2021-10-28 17:34:56
458
原创 Failed to add the foreign key constraint一种应对方法
添加外键失败，最后发现是主表键非唯一造成的： create table if not exists papers( id integer not NULL PRIMARY KEY auto_increment, content_id varchar(18) not Null, title varchar(288), paper_url varchar(188), memo varchar(288),
2021-09-02 11:49:09
568
原创 Python调试神器icecream的高级用法一、输出自定义内容
icecream实在是Python调试神器，越用越觉得妙用无穷。但通常的介绍都仅涉及一些简单的介绍，比如输出前缀和输出语句当前所处文件、函数、语句行等：from icecream import icfrom datetime import datetimedef time_format(): return f'{datetime.now()}>> 'ic.configureOutput(prefix=time_format, includeContext=True)
2021-08-25 15:19:21
506
原创 scrapy中数据更新的机制是不是一种低效的策略？
每一次调用yield item时，都要调用一次数据库操作，在pipeline中open_spider和close_spider中释放数据连接和光标，会不会导致大量的无效开销？有谁能解答吗？看来我得看源码了
2021-08-21 21:21:21
139
1
原创 localhost:8050访问splash服务却被拒绝的解决办法
费尽心思安装了docker，也获取了splash相关文件，启动也是成功的，但使用http://localhost:8050却被拒绝，声称拒绝访问，没有权限。原因何在？其实很简单，docker默认启动的splash服务使用的IP地址根本就不是localhost，无论是127.0.0.1或者192.168.1.1等都无法访问，它的默认启动IP是192.168.99.100。获得这个地址可以使用如下命令：docker-machine ip default...
2021-08-15 17:39:10
1151
原创 Python: too many values to unpack (expected 2,3......)的处理方法
这个问题困扰了很多人，我也曾经在网上寻找过答案，但最终觉得所谓的解答都不理想。原因在于所有的解答都是从自身的问题出发，没有触及到问题的实质。这个问题其实很简单，就是你的返回值或者赋值语句与返回值或者赋值等式右边的值数目不匹配。比如：In [1]: x,y,z = (1,'美女',[3,'b'])In [2]: xOut[2]: 1In [3]: yOut[3]: '美女'In [4]: zOut[4]: [3, 'b']In [5]: x,y,z,w = (1,'美女'
2021-08-05 22:40:53
63804
5
原创 如何处理“element is not attached to the page document”爬虫异常
本人在爬某网站时，网站有一个特殊设计，即在当前页面点击按钮刷新内容。当我爬取其中内容时，总是碰到这个错误：StaleElementReferenceException('stale element reference: element is not attached to the page document (Session info: chrome=90.0.4430.212)', None, None)使用WebDr...
2021-07-22 17:02:39
1972
原创 ElasticSearch能干什么？什么时候应该选择ElasticSearch？
ElasticSearch Use CasesYou can use ES for multiple purposes, a couple of them given below:ElasticSearch的用处很多，最典型的应用包括：You are running a website that provides lots of dynamic content; be it an e-commerce website or a blog. By implementing ES you ca
2021-06-26 11:41:09
877
4
翻译 ElasticSearch究竟能做什么？
ElasticSearch究竟能做什么？Elasticsearch provides near real-time search and analytics for alltypes of data.译：ElasticSearch为所有数据类型提供了一套实时搜索和分析工具Whether you have structured or unstructured text, numerical data, or geospatial data, Elasticsearch can efficiently
2021-06-13 10:41:40
485
原创 Selenium中获取所有该类型元素
区别其实就在复数形态上面。find_element_*得到的都是所有元素定位的第一个该类型元素而find_elements_*得到的则是一个WebElement的列表trs = bchrome.find_elements_by_xpath('//tr/*')ic(trs, type(trs))#返回一个列表，所以可以循环for t in trs: ic(t.text,type(t))而如下代码：sch_ps = bchrome.find_element_by_xpath('//s
2021-05-27 17:02:20
1752
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人