琦彦

Find out who you are,and be that person.

排序:
默认
按更新时间
按访问量

Python:urllib2.URLError urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed

现在随处可见 https 开头的网站,urllib2可以为 HTTPS 请求验证SSL证书,就像web浏览器一样,如果网站的SSL证书是经过CA认证的,则能够正常访问,如:https://www.baidu.com/等... 如果SSL证书验证不通过,或者操作系统不信任服务器的安全证书,比如浏览...

2018-10-18 11:44:30

阅读数:11

评论数:0

python2:open()文件名为中文,报错IOError: [Errno 22] invalid mode ('w') or filename

问题现象 # 文件写入 with open("E:\Python\练习\测试.txt", "w") as f: f.write(html) 运行后提示: IOError: [Errno 22...

2018-10-18 11:04:57

阅读数:5

评论数:0

Java 里如何实现线程间通信

正常情况下,每个子线程完成各自的任务就可以结束了。不过有的时候,我们希望多个线程协同工作来完成某个任务,这时就涉及到了线程间通信了。 本文涉及到的知识点:thread.join(), object.wait(), object.notify(), CountdownLatch, CyclicB...

2018-10-15 11:08:07

阅读数:16

评论数:0

Java中的锁分类和区别

在读很多并发文章中,会提及各种各样锁如公平锁,乐观锁等等,这篇文章介绍各种锁的分类。介绍的内容如下: 公平锁/非公平锁 可重入锁 独享锁/共享锁 互斥锁/读写锁 乐观锁/悲观锁 分段锁 偏向锁/轻量级锁/重量级锁 自旋锁 上面是很多锁的名词,这些分类并不是全是指锁的状态,有的指锁的...

2018-10-12 10:15:39

阅读数:10

评论数:0

ThreadLocal、Volatile、synchronized、Atomic关键字扫盲

前言 对于ThreadLocal、Volatile、synchronized、Atomic这四个关键字,我想一提及到大家肯定都想到的是解决在多线程并发环境下资源的共享问题,但是要细说每一个的特点、区别、应用场景、内部实现等,却可能模糊不清,说不出个所以然来,所以,本文就对这几个关键字做一些作用、...

2018-10-11 13:46:03

阅读数:9

评论数:0

为什么我们做分布式使用Redis?

绝大部分写业务的程序员,在实际开发中使用 Redis 的时候,只会 Set Value 和 Get Value 两个操作,对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结,解决大家的知识盲点。 1、为什么使用 Redis 在项目中使用 Redis,主要考虑两个角度:性能...

2018-10-09 17:28:34

阅读数:58

评论数:0

hive:函数使用

hive函数使用 小技巧:测试函数的用法,可以专门准备一个专门的dual表 create table dual(x string); insert into table dual values(''); 其实:直接用常量来测试函数即可 select substr(&quot...

2018-09-28 12:02:16

阅读数:34

评论数:0

hive:用hql来做wordcount

用hql来做wordcount 有以下文本文件: hello tom hello jim hello rose hello tom tom love rose rose love jim jim love tom love is what what is love 需要用hive做word...

2018-09-28 12:02:07

阅读数:28

评论数:0

hive:级联报表查询

级联报表查询 假如,有如下数据(文件名:accumulate.dat): A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 C,2015-01,10 C,2015-01,20 A,2015-02...

2018-09-28 12:01:53

阅读数:103

评论数:0

hive:条件查询、join关联查询、分组聚合、子查询

hive查询语法 提示:在做小数据量查询测试时,可以让hive将mrjob提交给本地运行器运行,可以在hive会话中设置如下参数: hive> set hive.exec.mode.local.auto=true;   基本查询示例 select * from...

2018-09-25 08:07:49

阅读数:35

评论数:0

hive:后台启动、和脚本化运行

hive使用方式 最基本使用方式 启动一个hive交互shell bin/hive hive> 设置一些基本参数,让hive使用起来更便捷,比如: 让提示符显示当前库: hive>set hive.cli.print.current....

2018-09-25 08:07:38

阅读数:38

评论数:0

hive:建库建表、表分区、内部表外部表、数据导入导出

hive建库建表与数据导入 建库 hive中有一个默认的库: 库名: default 库目录:hdfs://hdp20-01:9000/user/hive/warehouse   新建库: create database db_order; 库建好后,在hdfs中会生成一个库...

2018-09-25 08:07:25

阅读数:18

评论数:0

zookeeper:运行机制和数据存储机制

zookeeper的基本功能和应用场景   zookeeper的基本功能和应用场景   zookeeper的整体运行机制   zookeeper的整体运行机制   zookeeper的数据存储机制 数据存储形式 zookeeper中对用户的数据采用kv形式存储    ...

2018-09-21 08:10:52

阅读数:28

评论数:0

Hive:基本架构、将mysql作为元数据库

什么是hive hive基本思想 Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。         为什么使用Hive 直接使用hadoop所面临的问题  人员学习成本太高  项目周期要求太短  ...

2018-09-21 08:10:01

阅读数:27

评论数:0

awk:处理复杂文本格式

awk特点        awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来...

2018-09-16 18:14:15

阅读数:55

评论数:0

数据采集:Flume和Logstash的工作原理和应用场景

在某个Logstash的场景下,我产生了为什么不能用Flume代替Logstash的疑问,因此查阅了不少材料在这里总结,大部分都是前人的工作经验下,加了一些我自己的思考在里面,希望对大家有帮助。 大数据的数据采集工作是大数据技术中非常重要、基础的部分,数据不会平白无故地跑到你的数据平台软件中...

2018-09-14 17:53:17

阅读数:72

评论数:0

MySQL大表优化方案

当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL...

2018-09-12 19:38:58

阅读数:76

评论数:0

数据结构: 算法的时间复杂度和空间复杂度

1、算法的概念: 算法 (Algorithm),是对特定问题求解步骤的一种描述。 解决一个问题往往有不止一种方法,算法也是如此。那么解决特定问题的多个算法之间如何衡量它们的优劣呢?有如下的指标: 2、衡量算法的指标: (1)时间复杂度:执行这个算法需要消耗多少时间。 (2)空间复杂度:这...

2018-09-11 18:32:25

阅读数:38

评论数:0

Redis:Bitmaps使用场景-用户签到、统计活跃用户、用户在线状态

BitMap是什么 就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte,所以bitmap本身会极大的节省储存空间。 Redis中的BitMap Redis从2.2.0版本开始新增了setbit,getbit,bitcoun...

2018-09-11 18:03:16

阅读数:76

评论数:0

user-agent:判断扫码的客户端是微信还是支付宝

User Agent格式 User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 浏览器的 UA 字串  标准格式为: 浏览器标识 (操作系统标识; 加密等级标识...

2018-09-07 16:38:30

阅读数:113

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭