- 博客(45)
- 收藏
- 关注
RSS订阅转载 sqoop2 - 数据导出
介绍sqoop2从数据源读取数据，然后写入到目的地。sqoop2数据的导入是基于mapreduce的框架，所以sqoop2自己实现了OutputFormat类，支持将结果导入hive，kafka，数据库等类型。OutputFormatpublic class SqoopNullOutpu...
2017-09-15 11:36:00
408
转载 sqoop2-数据源
介绍sqoop2导入数据，是基于mapreduce框架的。sqoop2会将数据分片的信息，然后把分片的信息传递给mapreduce框架，每一个数据分片对应着一个map任务。提交jobMapreduceSubmissionEngine类，实现了job的提交。initialize方法，从指...
2017-09-13 13:56:00
372
转载 kafka控制层-controller启动与选举
KafkaServer启动在startup方法里，会实例化KafkaControllerclass KafkaServer { def startup() { ....... kafkaController = new KafkaController(c...
2017-08-27 00:21:00
1137
转载 kafka存储-segment
介绍消息队列在kafka中被称为Topic。因为kafka的分布式，Topic会有多个Partition组成，分布在不同的机器上。kafka为了进一步的增加读取效率，会将Partition分为多个Segment。这篇文章将详细的介绍Segment的消息的添加，查找和索引的恢复。添加消息...
2017-08-08 23:14:00
1080
转载 kafka存储-日志索引
介绍Partition是由多个Segment组成，Segment又是由数据文件，索引文件组成。数据文件是以.log结尾，索引文件是由.index结尾。OffsetIndexOffsetIndex表示的就是一个索引文件AbstractIndexOffsetIndex继承Abstrac...
2017-08-07 23:11:00
355
转载 kafka协议-Records
介绍Records是RecordBatch的集合。它遍历Record的过程是，一次遍历每一个RecordBatch的Record。AbstractRecordsAbstractRecords实现了Records接口，recordsIterator返回 Iterator<Record...
2017-08-02 15:50:00
992
转载 kafka协议-RecordBatch
介绍RecordBatch是包含许多record的集合。RecordBatch继承了Iterable<Record>接口，提供了遍历Record的方法.AbstractRecordBatchAbstractRecordBatch继承了RecordBatch，并且实现了以下的方...
2017-08-01 20:40:00
675
转载 kafka协议-record解析
介绍kafka的消息是以record方式的存储下来。RecordRecord是接口，DefaultRecord实现了Record接口。DefaultRecord的存储结构Record => Length => varint # record总长度（不包括Len...
2017-08-01 11:08:00
1797
转载 kafka权限控制-Acl
介绍Acl表示对一个资源的访问权限。它由Resource和Acl组成。Resource表示一个具体的资源。Acl表示权限，由主体principal，是否允许permissionType，主机host，操作operation组成。Resource// ResourceType表示资源...
2017-07-27 16:55:00
886
转载 kafka-请求头部解析
上篇介绍了NetworkReceive当接收到NetworkReceive， Processor会构造了Request实例，发送给RequestChannel private def processCompletedReceives() { selector.completedR...
2017-07-25 23:33:00
4775
转载 kafka-网络层KafkaChannel
KafkaChannel介绍KafkaChannel负责基于socket的连接，认证，数据读取发送。它包含TransportLayer和Authenticator两个部分。TransportLayer负责数据交互，Authenticator负责安全验证。框架图ChannelBuilde...
2017-07-25 13:45:00
308
转载 kafka-网络层Selector
Selector介绍Selector是对java nio中Selector的封装，额外提供了对kafka请求或者响应的处理方法框架图Selectable接口Selector实现了Selectable接口。下面列举它的定义public interface Selectable { ...
2017-07-24 14:06:00
128
转载 kafka-网络层框架
kafka-网络层介绍kafka的请求都是通过socket进行通信的，网络层就是负责接收请求，并且发送响应的。kafka网络层使用了java的nio异步框架，大大提高了性能。框架图Acceptor只监听新的连接，然后通过新的连接轮询发送给Processor。Processor负责与连...
2017-07-20 13:48:00
213
转载 模块的全局变量
首先构件一个settings.py文件，里面包涵多种类型的变量，别的模块从settings.py文件，导入变量测试。 # settings fileclass TestClass(object): def __init__(self, var): self.va...
2016-09-25 22:49:00
245
转载 httplib－HTTPConnection
api的使用： >>>importhttplib,urllib>>>params=urllib.urlencode({'@number':12524,'@type':'issue','@action':'show'})>&...
2015-07-06 11:16:00
458
转载 开源项目-eg
1. 配置模块 默认配置， 用户自定义配置， 命令行配置 优先级从地到高 resolved_egrc_path=get_priority(args.egrc_path,'~/.egrc',None)egrc_config=get_config_tuple_from_eg...
2015-05-06 23:20:00
90
转载 tornado.concurrent-Future
Future的主要用途就是，存储结果。当结果返回时，就会对调注册的函数。用于支持异步，是非常方便的。 defasync_task():future=Future()ioloop.IOLoop.current().call_later(lambdaf:f.set_...
2015-03-25 22:49:00
579
转载 tornado.gen.coroutine-编写异步函数
异步函数： 1. 返回Future 2. 必须有set_result( )或者set_exception( )调用。 这里展示一个异步socket读取的例子： 首先定义一个定时返回的服务器，来模拟耗时的操作 fromtornado.tcpserverimportTCPS...
2015-03-17 23:27:00
320
转载 tornado-业务流程
整个流程如如下图所示， 上图涉及到了多个类，下面就讲解主要的代码步骤 首先HTTPServe继承TcpServer，复写了handle_stream方法，当底层每次有新的请求连接时，就会调用。 defhandle_stream(self,stream,address):...
2015-03-16 13:47:00
220
转载 tornao.iostream-io流
首先看tornado支持的读操作。 read_until_regex(self, regex, callback=None, max_bytes=None)：支持正则的读取 read_until(self, delimiter, callback=None, max_bytes=None)...
2015-03-07 20:41:00
203
转载 tornado.gen.coroutine-协程
1. yield的基本概念 2. Future的用法 3. ioloop的常用接口 4.gen.coroutine的应用 5. gen.coroutine的源码 6. Runner类的实现 1. yield的基本概念 python中使用yield实现了生成器函数，同样...
2015-03-04 18:23:00
380
转载 django.relatedField-关联域
对于django的model，尤其是related field，我建议从model的本身含义出发，而不要从数据库的角度去看。 related_field仅仅是表示model之间的关系，至于数据库的实现，需要的时候再去了解。这样才能比较容易的理解django的model设计思想。 比如For...
2015-01-22 11:43:00
1488
转载 django.contrib.auth.backend-后台
backend.py文件目前有两个类，ModelBackend和RemoteUserBackend。 首先看ModelBackend的对外接口， 认证方面：authenticate 获取用户：get_user， 权限方面： get_user_permissions，get_gr...
2015-01-21 15:49:00
642
转载 django.contirb.auth-认证
首先看middleware的定义： auth模块有两个middleware：AuthenticationMiddleware和SessionAuthenticationMiddleware。 AuthenticationMiddleware负责向request添加user属性 class...
2015-01-19 00:03:00
121
转载 django rest framework - 数据解析
所有数据解析的类都是BaseParser的子类。 classBaseParser(object):"""Allparsersshouldextend`BaseParser`,specifyinga`media_type`attribute...
2015-01-15 23:35:00
125
转载 django.core-files
Storage类可以比喻成File的容器。它可以是本地文件系统，也可以是远端的FTP服务器。它定义了标准接口，用于访问或者修改文件。 classStorage(object):"""Abasestorageclass,providingsomedefault...
2015-01-08 13:50:00
313
转载 django-staticfiles-finder
BaseFinder是所有Finder的基类： classBaseFinder(object):"""Abasefilefindertobeusedforcustomstaticfilesfinderclasses."""de...
2015-01-07 21:48:00
206
转载 django.core-files
首先看FileProxyMixin的定义： classFileProxyMixin(object):encoding=property(lambdaself:self.file.encoding)fileno=property(lambdaself:...
2015-01-06 13:02:00
109
转载 django.contrib.sessions-SessionBase
SessionBase之所以可当作字典来操作，因为它本身就是对字典的包装。所以需要了解一下python的一些魔法方法。 举个例子： classDictWrapper:def__init__(self):self.dict={}...
2014-12-27 13:48:00
220
转载 django.session-middleware
下面是django使用session的例子，参考djangoBook： deflogin(request):ifrequest.method!='POST':raiseHttp404('OnlyPOSTsareallowed')try...
2014-12-26 15:40:00
117
转载 django-admin sites
在使用django-admin的时候， 首先在INSTALLED_APPS里面添加'django.contrib.admin'，并且还有admin所需的另外app。 其次配置admin的urls，在urls模块中patterns变量里添加url(r'^admin/', include(a...
2014-12-25 15:03:00
224
转载 django.management-命令行
我们以manage.py作为出发点，来看看它的实现。 importosimportsysif__name__=="__main__":os.environ.setdefault("DJANGO_SETTINGS_MODULE","mysite.settings"...
2014-12-25 10:27:00
469
转载 django.core.management-command
1.``django-admin``or``manage.py``loadsthecommandclassandcallsits``run_from_argv()``method.2.The``run_from_argv()``m...
2014-12-24 14:53:00
316
转载 django.app-AppConfig
AppConfig既然是app的设置类，那么它有哪些属性？ 通过__init__方法初始化的属性： name：app的路径名比如：django.contrib.adminmodule：app的模块 通过继承AppConfig，定义类属性： label：唯一的名字...
2014-12-21 00:24:00
919
转载 django.forms-Form与Field的联系
classDeclarativeFieldsMetaclass(MediaDefiningClass):"""MetaclassthatcollectsFieldsdeclaredonthebaseclasses."""def__ne...
2014-12-19 12:16:00
123
转载 django.core-validators
这里validators模块主要的特点是， 用类继承来模仿函数的调用。具体实现：定义class的__call__方法。 并且往往子类通过重新定义父类的属性，来达到继承的效果。 @deconstructibleclassBaseValidator(object):compare...
2014-12-18 17:04:00
308
转载 django.forms.widget-MultiWidget
classMultiWidget(Widget):"""Awidgetthatiscomposedofmultiplewidgets.Itsrender()methodisdifferentthanotherwidgets',be...
2014-12-18 11:00:00
204
转载 django.forms.widget-ChoiceFieldRenderer
classChoiceFieldRenderer(object):"""AnobjectusedbyRadioSelecttoenablecustomizationofradiowidgets."""choice_input_cl...
2014-12-18 09:55:00
190
转载 django.forms.widget-ChoiceInput
classChoiceInput(SubWidget):"""AnobjectusedbyChoiceFieldRendererthatrepresentsasingle<inputtype='$input_type'>....
2014-12-17 16:11:00
155
转载 django.forms-Widget和Media间的联系
先引用一个官网的例子： fromdjangoimportformsclassCalendarWidget(forms.TextInput):classMedia:css={'all':('pretty.css',)...
2014-12-16 15:15:00
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人