lcalqf的专栏

努力奋斗、从容应对

排序：
默认
按更新时间
按访问量
RSS订阅

转 hadoop zookeeper 配置HA

原文地址：https://blog.csdn.net/everl_1/article/details/52303011ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性...

2018-07-15 10:54:30

阅读数 469

评论数 0

原 spark基础 scala

最近一段时间由于项目需要，开始接触 大数据，学习了hadoop，spark，对C++程序员来说 大数据还是挺新颖的。1、scala 函数式编程函数像变量一样，既可以作为函数的参数使用，也可以将函数赋值给一个变量.object App { def main(args:Array[String]):...

2018-07-09 20:17:00

阅读数 104

评论数 0

原 python svm

前段时间用svm 进行了试题答案（ABCD）分类svm 介绍https://www.cnblogs.com/xiaohuahua108/p/5934282.htmlsklearn 包记录一下 相关参数SVC继承了父类BaseSVCSVC类主要方法：★__init__() 主要参数：C: float...

2018-07-09 17:54:19

阅读数 1155

评论数 0

原 python 主线程 挂起

有时我们需要挂起主线程，当IO线程 满足条件时 再运行。可以通过python中的event（事件）来实现该功能import threading wake_event=threading.Event() #主线程,假如主线有个while循环 while True: wake_event....

2018-07-09 11:14:06

阅读数 1163

评论数 0

原 python 调用 C

通过ctypes 库调用 C语言的*.so库假如有个libtest.sotest.h#include "stdio.h" typedef int( *callback)( const char *sessionInfo, int msgID, void *us...

2018-07-05 17:21:45

阅读数 288

评论数 0

原 python 操作crontab 实现定时任务

写crontab 任务时，python指定绝对路径脚本文件 06292000.py，不要用相对路径，因为crontab执行时，默认目录是你python的目录。不是你脚本文件所在的目录。所以程序中如果需要指定路径，可以先获得脚本文件所在的路径，然后基于该路径再做操作os.path.split(os....

2018-06-29 19:20:18

阅读数 2258

评论数 0

转 python 获得当前程序的绝对路径

. 以前的方法如果是要获得程序运行的当前目录所在位置，那么可以使用os模块的os.getcwd()函数。如果是要获得当前执行的脚本的所在目录位置，那么需要使用sys模块的sys.path[0]变量或者sys.argv[0]来获得。实际上sys.path是Python会去寻找模块的搜索路径列表，sy...

2018-06-28 14:26:08

阅读数 5566

评论数 0

原 UnicodeEncodeError: 'ascii' codec can't encode character u'\u5230' in position 0: ordinal not in ran

python 2.7写 unicode字符到文件，出现UnicodeEncodeError: 'ascii' codec can't encode character u'\u5230' in position 0: ordinal not in range(128)错误，改正import cod...

2018-06-26 19:45:42

阅读数 1515

评论数 0

转 python 字符串格式化 拼接

本文介绍了Python字符串格式化，主要有两种方法，分享给大家，具体如下用于字符串的拼接，性能更优。字符串格式化有两种方式：百分号方式、format方式。百分号方式比较老，而format方式是比较先进的，企图替代古老的方式，目前两者共存。1、百分号方式格式：%[(name)][flags][wid...

2018-06-25 16:18:28

阅读数 686

评论数 0

转 Hadoop Mapreduce分区、分组、二次排序过程详解

这篇文章分析的特别好，耐心看下去。。1、MapReduce中数据流动   （1）最简单的过程：  map - reduce   （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce   （3）增加了在本地先进性一次red...

2018-06-21 06:49:58

阅读数 294

评论数 1

原 hadoop 分片、分区概念

参考博客：https://www.cnblogs.com/junneyang/p/5850440.html输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入...

2018-06-20 23:48:17

阅读数 1863

评论数 2

原 语音唤醒 snowboy

支持定义语音唤醒词 ，例如百度的语音唤醒“小度小度”，就是基于它。https://snowboy.kitt.ai/    githubhttps://github.com/kitt-ai/snowboy

2018-06-14 17:12:45

阅读数 3032

评论数 3

原 mysql 性能优化

表的优化与列类型的选择表的优化1:定长与变长分离如id int类型，占4个字节，char(4)占4个字节，也是定长，即每一单元占的字节是固定的。核心且常用字段，宜建成定长，放在一张表。而varchar 、txt、blob，这种变长字段，适合单独放一张表，用主键和核心表关联起来2、常用字段和不常用字...

2018-06-13 17:12:53

阅读数 62

评论数 0

原 大数据基础概念

2018-06-13 13:44:03

阅读数 120

评论数 0

原 epoll 高并发 每个线程一个epoll

知乎 讨论： easyserverdevhttps://www.zhihu.com/question/271561199/answer/362106439对应的开源项目https://github.com/baloonwj/flamingo

2018-06-12 14:49:04

阅读数 868

评论数 0

原 一致性hash nginx ip_hash原理

https://segmentfault.com/a/1190000008748706     一致性hash 环形节点 ，理解   http://blog.csdn.net/cywosp/article/details/23397179     nginx也是用一致性hash ...

2018-06-12 14:14:05

阅读数 1072

评论数 1

原 python 解析json

解析科大讯飞 语音识别 返回的语义结果返回的json数据{ "code": "0", "data": [{ "sub": "ia...

2018-06-12 13:33:34

阅读数 85

评论数 0

原 python 装饰器 介绍

简言之，python装饰器就是用于拓展原来函数功能的一种函数，这个函数的特殊之处在于它的返回值也是一个函数，使用python装饰器的好处就是在不用更改原函数的代码前提下给函数增加新的功能。参考文章：https://www.cnblogs.com/Eva-J/p/4977823.htmldef lo...

2018-06-11 17:29:48

阅读数 59

评论数 0

原 hash 取余

EventLoop* EventLoopThreadPool::GetNextLoopWithHash(uint64_t hash) { EventLoop* loop = base_loop_; if (IsRunning() &&amp...

2018-04-04 16:17:04

阅读数 379

评论数 0

转 IO 多路复用介绍

原文地址 https://www.cnblogs.com/sunhao96/p/7873842.htmlIO模式 对于一次IO访问（以read举例），数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。所以说，当一个read操作发生时，它会经历两个阶段：...

2018-03-14 14:44:48

阅读数 2373

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭