- 博客(29)
- 收藏
- 关注
RSS订阅
原创 Python中几个处理PDF相关的工具
最近一段时间做特定的业务场景，目标数据是PDF中的barcode，经过一段时间的工作，整理信息如下：1、阅读、解密PDF（1）Python自带的工具PyPDF3Python开发的，在PyPDF2基础上做了升级，说明文档还是PyPDF2的(https://pythonhosted.org/PyPDF2/)可以读取大多数的PDF文件，判断页数、是否加密等，但在解密部分PDF文件时会抛异...
2019-11-25 10:44:47
701
原创 WorkPress Nginx: 413 – Request Entity Too Large Error
错误原因：Nginx和PHP默认配置限制了上传文件大小。解决方法：1、修改Nginx配置vi /etc/nginx/nginx.conf# set client body size to 2M #client_max_body_size 20M;2、修改PHP配置vi /etc/php.ini;This sets the maximum amount of memory in bytes that a script is allowed to allocatememory
2022-05-12 15:13:44
187
原创 Python 连接redis密码中特殊字符问题
连接方法：self.pool = redis.ConnectionPool.from_url(self.redis_url)opredis = redis.Redis(connection_pool=self.pool)redis_url = 'redis://:cot$#D4^&1234@172.31.26.174:6379/0'直接连redis会报错，报错主要内容：...
2019-07-02 16:55:40
5262
原创 python 将str转换为dict
1、使用ast包>>> import ast>>> ast.literal_eval("{'muffin' : 'lolz', 'foo' : 'kitty'}"){'muffin': 'lolz', 'foo': 'kitty'}2、使用json>>> h = '{"foo":"bar", "
2018-09-11 17:46:20
1001
原创 python 读写文件时报UnicodeEncodeError: 'ascii' codec can't encode characters in
处理中文相关的文件经常遇到该报错：1、将中文写入文件；2、从文件中读取中文。解决方法：在python中有专门做转码处理的包codecs，官方说明；写入和读取的两个范例：1、写入import codecsfp = codecs.open(filename, 'w', encoding='utf-8')fp.write(content)fp.close()2、读取import codecsfo...
2018-06-29 17:18:06
4336
原创 Python2.7 Scrapy爬取https URL报“SSL: CERTIFICATE_VERIFY_FAILED”
用Scrapy在爬取以https开头的地址时报“SSL: CERTIFICATE_VERIFY_FAILED”的错误；错误原因：python2.7的urllib.urlopen https的URL时会验证一次SSL证书，当目标网站使用自签名时就会报错该错误。解决方法：1、引入ssl，在使用urlopen时传入认证内容import ssl# This restores the same behavi...
2018-06-20 14:47:21
3054
原创 Mysql集中特殊时间格式，如unix时间戳、DATE_FORMAT等样例
select FROM_UNIXTIME(1528421346325/1000, '%Y-%m-%d %H:%i:%s');结果：2018-06-08 09:29:06红色部分注意，一定要用%i，而不是%m，否则会在时分秒部分取到月信息select FROM_UNIXTIME(1528421346325/1000, '%Y-%m-%d %H:%m:%s');结果：2018-06-08 09:06:...
2018-06-08 13:32:20
513
转载 Mac OS X 上如何切换默认的 Python 版本？
强烈建议不要直接sudo ln -s (会直接覆盖系统原来的link导致想调用自带python的软件出现问题)，修改path variable虽然比较安全，但对于你的需要是没有太大必要的。想要实现你的如下要求在终端里直接输入“python”命令就会运行3.4.3的py版本？直接在.profile加一个alias就可以了。如果你的Terminal运行的shell是bash(默认)，可以修改~/.ba...
2018-05-31 10:59:09
8688
原创 python pymysql连接数据库pymysql.err.OperationalError 1044
错误详细过程>>> import pymysql>>> conn = pymysql.connect(host='192.168.88.95',user='analyze',password='analyze*&g0$X!$S',db='analyze',port=52541, charset='utf8')Traceback (most recent ...
2018-05-30 14:29:19
21852
原创 解决python中TypeError: not enough arguments for format string
主要是在Python的function中写了执行SQL的语句，SQL条件中需要类似'%_aa'中%的匹配符号，Python认为%是求模运算或者格式化字符，而是实际我们在SQL中需要%，此时需在SQL使用%%表示。
2016-10-12 11:15:27
5623
2
原创 Kafka连接问题，导致Spark数据分析中断
2016-10-08 15:12:52,604 [myid:2] - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@349] - caught end of stream exceptionEndOfStreamException: Unable to read additional data from client sessionid 0x55de68ef7f4bcd, likely client has closed so
2016-10-09 12:34:24
9702
转载 OLTP和OLAP浅析
数据库设计的一个根基就是要弄清楚数据库的类型。 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing在线事务处理，联机事务处理）、联机分析处理OLAP（On-Line Analytical Processing在线分析处理，联机分析处理）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银
2016-09-29 16:38:51
996
原创 MYSQL使用float类型精确查询结果为空
在MYSQL中，字段类型为float的字段，如果要根据float字段的值精确查找，结果会是空；原因是在mysql中，float是浮点数，不能指定小数位，Mysql存储的时候是近似值，所以用精确查找无法匹配；但可以用like去匹配。如果只用到Mysql数据库，不需要多库关联，针对小数类型的字段，可以使用decimal字段类型，decimal数据类型最多可存储 38 个数字
2016-09-26 10:44:28
3547
原创 资料
NoSQL数据库列表：igniteApache Ignite是一个通用的数据库缓存系统，它不仅支持所有的底层数据库系统，比如RDBMS、NoSQL和HDFS，还支持Write-Through和Read-Through、Write-Behind Caching等可选功能。官网：https://ignite.apache.orgCSDN文章：http://www.csd
2016-09-25 12:01:10
982
原创 Linux ping通Telnet不通，且本机应用正常运行
前端时间同事安装CDH的集群，遇到HDFS安装失败的问题，现象如下：1、两台Namenode正常运行，但是datanode处于“错误运行状态”；其它配置依赖HDFS服务的如mapreduce、Hbase也运行失败；2、两台Namenode机器上的datanode、mapreduce运行正常，其它节点datanode、mapreduce所在的服务器能ping通两台Namenode的IP，但无
2016-09-21 15:01:50
29688
原创 MYSQL 全表按照Key字段更新指定的字段
Mysql更新字段可以有update、insert into、replace into几种方法，其中：1、update只能对单条记录或者相同条件的多列批量单一更新；如果要全表按照Key更新，需先查询表中记录，根据条件逐条更新，效率非常低；2、insert是将新行插入到表中，普通的insert into可以批量查询新行，如下用法可以按照表中的key全表更新指定的字段，格式如下：INS
2016-09-21 14:50:35
3388
原创 MYSQL 5.5不支持字段类型为datetime且默认值为NOW()的建表语句
5.5版本如下建表语句会失败:alter table Test_Time_aa add column tt datetime DEFAULT NOW() comment '测试时间格式'主要是在5.5版本不支持字段类型为datetime且默认值为NOW()的字段同时，也不支持CURRENT_TIMESTAMP，如下：alter table Test_Time_aa add
2016-09-07 21:03:07
10812
3
原创 MYSQL 建表、修改表语句
创建普通表：CREATE TABLE `AA_Info` ( `A1` varchar(20) NOT NULL COMMENT '代码', `A2` varchar(20) NOT NULL COMMENT '名称', `A3` varchar(20) DEFAULT NULL COMMENT 'Letter abbreviation首字母缩略字', `A4` tinyi
2016-09-03 15:13:53
4997
原创 python URL解析转换成字典
引用包：import urlparse获取URL：url="https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd=300200&rsv_spt=1&oq=python%20nonetype&rsv_pq=ddeee0430002a4d3&rsv_t=52bbRWiHUtsbsalW02N
2016-09-03 15:04:47
14582
原创 Python如何判断<type 'NoneType'>数据类型
NoneType类型：In [12]: a = NoneIn [13]: print type(a)判断方法：if a is None:passelse:pass转载关于Null和None的解释：Null和None是Python的特殊类型，Null对象或者是NoneType，它只有一个值None.它不支持任何运算也没有任何内建方法
2016-09-03 10:29:51
50792
原创 Oracle查询中使用分组函数
有时需要对查询对象中相同属性的行进行分组，然后查看分类后行的统计信息；例如：财务报表中需要统计各个部门每年开销，那么就要已部门进行分类，然后在员工工资表中将同各部门的员工工资进行求和；下面进行分类说明：使用group by 子句对行进行分组以products表为例，select * from products1、查询同一个产品类型的商品个数select pp.pro
2013-06-06 18:20:08
717
原创 Oracle中使用聚合函数
单行函数和聚合函数的区别：单行函数操作时，根据函数的功能同时处理一行数据，返回每一行的处理结果；聚合函数同时对分组后的一组行进行操作，返回分组后各组的处理结果；聚合函数主要是数字处理函数，通常对分组后每组行中每行的列进行操作，返回数值，包括求平均值函数avg(x)、统计个数函数count(x)、求最大值函数max(x)、求最小值函数min(x)、求中间值函数median(x)、求和函数
2013-06-04 18:42:40
3222
原创 Oracle 多表查询连接的三种类型
多边查询如果按照连接条件的不同，可分为等连接和不等连接，顾名思义，等连接是指查询条件使用等号操作符（=），使用其他连接符的属于不等连接，如;按照连接类型可将查询分为：内连接、外连接、自连接；先看举例中使用的两个表的完整信息select * from products；select * from product_types; 1、内连接平时使用的大多数条件查询都算
2013-06-03 17:15:14
1932
原创 Oracle 常用的几个通用函数
1、NVL()格式：NVL(value,string1)如果value为null，则把该值替换为string1，如果不为空，还是该值本身；用法：select nvl(123,9) from dual;--结果为：123 select nvl(null,9) from dual;--结果为：9 select nvl(null,'a') fr
2013-05-31 15:54:54
2110
原创 Oracle 常用的几个转换函数
1、To_Char()格式：To_Char(date||number,format)该函数可将日期或者数字转换成字符指定的字符格式；用法：select to_char(sysdate) from dual;--结果为：31-5月 -13 select to_char(sysdate,'YYYY-MM-DD') from dual;--结果为：2013-05-31
2013-05-31 11:56:03
604
原创 Oracle 几个简单的日期函数
Oracle系统中，有如下几个经常使用的日期函数：1、Months_Between()格式：Months_Between(startdate,enddate)统计startdate到enddate之前总共有多少个月份；用法：select months_between(to_date('1998-12-12','YYYY-MM-DD'),to_date('1988-12-12','Y
2013-05-31 11:07:43
529
转载 RedHat 6 配置网卡team
Mode0 : Round-robin策略：按顺序传输数据包，从第一个可用的slave到最后一个可用的slave。该模式提供了负载均衡和容错机制。 Mode1: Active-backup（激活-备份）策略：只有一个slave是激活的(active)。其他的slave只有在当前激活的slave故障后才会变为激活的(active)。 Mode6: bala
2013-05-30 21:56:24
1104
原创 Oracle 几个简单的数字函数
1、ROUND()格式：round(number[,startnuber])对一个数字指定位数四舍五入，startnumber为正数时表示将小数点后第startnumber位进行四舍五入，为负数时表示将小数点前第startnumber位进行四舍五入；用法：select round(123.456) from dual;--结果为：123 select round(123.
2013-05-30 21:52:53
699
转载 Oracle几个字符串函数
平常我们用Oracle主要有两种字符串类型：1、Char始终为固定的长度，如果设置了长度小于Char列的值，则Oracle会自动用空格填充的。当比较Char时，Oracle用空格将其填充为等长，再进行比较；2、VarChar2数据类型为可变长度，虽然与VarChar数据类型是同义的，但在今后的Oracle版本中也许会有变化，所以应该避免使用VarChar，优先使用VarChar2；固定
2013-05-30 11:56:36
708
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人