daiyuxiong的博客

基本类型列类型整型：INT字符串类型：包含两种数据类型：VARCHAR和CHAR。Hive遵循C-类型的转义字符。时间戳：它支持传统的UNIX时间戳可选纳秒的精度。日期：DATE的值在年/月/日的格式形式描述{{YYYY-MM-DD}}小数点：decimal(10, 0)联合类型：UNIONTYPE<>文字浮点类型：浮点类型是只不过有小数点的数字。组成DOUBL...

技巧1梗概先让项目可以跑起来（很重要）debug打印日志以及修改log4j日志级别查看调用栈全文搜索大胆猜测在验证（？）思考、交流多思考很有必要，可能以后在自己的项目中就会用这种思想这种技巧，所以需要多思考。多与一些大佬交流。坚持上面的都是次要的，这条是最重要的：坚持，滴水穿石、持之以恒，可能在短期看不出来效果，因为需要一个量变到质变以及破茧成蝶的过程。自评...

摘要本文内容基于RASA官网Rasa是一个基于多轮对话的框架，其中包含两个模块Rasa core与Rasa nlu。Rasa nlu是用来理解语义的，包括意图识别、实体识别，它会把用户的输入转换为结构化的数据。...

调试测试1、错误处理1.1、trypython内置了一套try机制。若except后存在finally语句块，则执行except之后会执行finally。不同的错误可以用多个except来捕获。存在Exception。可以跨越多层调用，最底层出错，只要某个上层捕获到了，就可以处理。不需要在每个可能出错的地方去捕获错误，只要在合适的层次去捕获错误就可以了。1.2、调用栈如果没有错...

基本概念1、索引（Index）es将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。相当于SQL中的一个数据库，或者一个存储方案schema。一个es集群可以创建任意数目的索引。2、类型（Type）类型是索引内部的逻辑分区，一个索引可以定义一个或多个类型。相当于SQL中的表。3、文档（Document）文档时Lucene索引和搜索的原子单位，是包含了一个或多个域的...

nodejs安装1、安装首先，从https://nodejs.org/en/download/下载对应平台的安装程序，推荐win下载msi文件，可以直接add to path，避免了环境变量配置的过程。安装好之后，在cmd下键入node -v，安装正常会显示响应的版本号。键入node，进入node.js交互环境，此环境下，可以任意输入JavaScript语句。2、npmnpm为N...

基础1、判断变量是否为None主要有三种写法：if x is None:if not x:if not x is None:2、lambda函数的用法被称作匿名函数，没有具体名称的函数，允许快速定义单行函数，可以用在任何需要函数的地方。lambda与def的区别：def创建方法是有名称的，lambda没有；lambda会返回一个函数对象，但这个对象不会赋给一个标识符，而...

第一个应用1、引入required模块使用require指令载入http模块，实例化http：var http = require("http")2、创建服务器使用http.createServer()的方法创建服务器，并使用listen方法绑定8080端口。通过request、response参数来接收和响应数据。实例：var http = require('http');...

yield fromyield from是python3.3新出现的句法1、替代内层for循环def chain(*param): for it in param: yield from its = 'ABC't = tuple(range(3))print(list(s, t))最终的输出为[‘A’, ‘B’, ‘C’, 0, 1, 2]yield from完全...

1、NLP的一些概念NER：命名实体识别，用于确定文本中哪些词条属于命名实体，类别范围包括人名，组织，地点等。NLP：自然语言处理NLTK：自然语言工具包PCA：主成分分析法ancher：锚点。像是一个迅速定位器一样是一种页面内的超链接。...

hadoop简介1、hadoop适用场景适合：大规模数据、流式数据（写一次，读多次）；商用硬件不适合：低延时的数据访问；大量的小文件；频繁修改文件（基本就是写一次）2、hadoop架构hdfs：分布式文件存储；yarn：分布式资源管理；mapreduce：分布式计算；others：利用yarn的资源管理功能实现其他的数据处理方式。3、hdfs3.1、简介分布式文...

1、Scala语言介绍1.1、语言类型scala是面向对象语言。是函数式编程语言。是静态类型语言，不提供冗余类型的信息。大多数情况下，不需要指定类型。scala运行在JVM上。scala编译器将scala代码编译成java字节代码，然后通过scala命令执行。scala可以执行java代码。scala可以做并发和同步处理。1.2、Scala与Javascala具有与java完...

1、去除list中的null元素推荐使用方法(JDK中方法)public static <T> List<T> removeNull(List<? extends T> oldList) { oldList.removeAll(Collections.singleton(null)); return (List<T>)oldList;}...

1、截取文件前100行# 截取文件前100行，输出至a.txthead -100 filename > a.txt# 截取文件最后100行，输出至b.txttail -100 filename > b.txt2、查看文档# 显示文件里匹配"关键字"那行以及上下5行cat xx.log | grep -C 5 '关键字'# 显示"关键字"及前5行cat xx.log ...

面向对象高级编程参考java：数据封装、继承、多态。多出来的概念：多重继承、定制类、元类。1、slots使用MethodType(方法, 对象)给对象(实例)绑定一个方法。对一个实例绑定的方法对另一个实例是没有用的。可以用：类.方法=方法。把类绑定一个方法。这样所有实例均可以使用。如果要限制Student的实例只能添加name和age属性class Student(objec...

面向对象编程1、类和实例创建实例：bart = Student()可以自由地给一个实例变量绑定属性。如给bart绑定一个name属性。__init__方法第一个参数是self，表示创建的实例本身，在__init__方法内部，可以吧各种属性绑定到self上。有了此方法，在创建实例时，就不能传入空的参数了，必须传入与__init__方法匹配的参数。2、数据封装参考java。3、访...

模块1、模块简介在python中，一个.py文件就称之为一个模块module。相同名字的函数和变量完全可以分别存在于不同的模块中。尽量不要与内置函数名字冲突。为了避免模块名冲突，python又引入了按照目录来阻止模块的方法，称为包package。引入包之后，只要顶层包名不与别人冲突，所有模块都不会与别人冲突。模块名变为：包名.模块名。每个包下面都有一个_init_.py的文件，这个文件...

IO1、文件读写1.1、读文件打开文件对象，可以用python内置的open()函数。f = open(地址, ‘r’)，如果文件不存在，则返回一个IOError的错误。如果read入去成功，会把内容读到内存，用一个str对象表示。**最后一步调用close()方法关闭文件。**常用try…finally来实现。可以反复调用read(size)方法每次最多读取size个字节的内容。调用...

进程和线程多任务有三种方式：多进程、多线程、多进程加多线程1、多进程linux操作系统提供了一个fork()系统调用，调用一次，返回两次，因为**操作系统自动把当前进程复制了一份，然后分别在父进程和子进程内返回。**子进程返回0，父进程返回子进程id。子进程字需要调用getppid()就可以获得父进程的id。getpid()为获取当前进程id。1.1、multiprocessing...

正则表达式1、基础在正则表达式中，如果直接给出字符，就是精确匹配。\d匹配一个数字，\w匹配一个字母或数字。.可以匹配任意字符。*表示任意个字符；+表示至少一个字符；\s表示匹配一个空格；?表示0个或1个字符；{n}表示n个字符，{n,m}表示n-m个字符。对于’-'这种特殊字符，要用\转义。2、进阶[0-9a-zA-Z_]：可以匹配一个数字、字母或者下划线；[0-9a-zA-...

常用内建模块1、datetimefrom datetime import datetimenow = datetime.now() # 获取当前dateTime，到微秒，类型为datetime.datetimedt = datetime(2015, 4, 19, 12, 20) # 用指定的日期时间创建datetimedt.timestamp() # 把datetime转换为timest...

常用第三方模块1、Pillow处理图像2、requests请求3、chardet用于检测编码。chardet.dect(data)4、psutil

网络编程1、TCP编程1.1、客户端AF_INET代表使用的是ipv4协议。SOCK_STREAM指定使用面向流的TCP协议。这样，一个socket对象就创建成功了，但是还没有建立连接。connect建立连接。s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)s.connect((地址, 端口号))...

web开发1、http协议http实在网络上传输html的协议，用于浏览器和服务器的通信。http请求的流程：1、浏览器首先向服务器发送HTTP请求，请求包括： 方法：GET/POST 路径：/full/url/path 域名：由Host头指定2、服务器向浏览器返回HTTP响应，响应包括： 响应代码：200成功；3xx重定向；4xx客户端请求有错误；5xx服务器端处理时发生错...

1、基础1.1、基础语法以#开头的语句是注释；当语句以：结尾时，缩进的语句视为代码块；Python时大小写敏感的。1.2、数据类型整数：整数运算永远是精确地（除法也是）；浮点数：对于很大或很小的浮点数，必须使用科学计数法表示，把10用e代替，1.23X10^9就是1.23e9，或者12.3e8。浮点数和整数在计算机内部存储的方式是不同的。浮点数会有四舍五入的误差。字符串：注意...

函数1、创建函数1.1、定义函数定义函数def my_abs(x):定义一个什么都不做的空函数，可以使用pass语句：def nop(): passpass可以用来做占位符。1.2、参数检查若参数个数不对，会跑出TypeError错误。数据类型检查可以使用内置函数isinstance()实现：def my_abs(x): if not isinstan...

细节1、REPL（交互式解释器）REPL表示一个电脑的环境，Node自带了REPL，可以执行以下任务：读取（读取用户输入，解析输入了Javascript数据结构并存储在内存中）；执行（执行输入的数据结构）；打印（输出结果）；循环（循环操作以上步骤直到用户退出）。可以进行简单的运算。可以将数据存储在变量中。变量声明用var关键字时，不会打印出来。多行表达式。可以使用_获取上一个表达式的...

异步IO1、协程在执行过程中，子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。一个线程执行的过程中。优势在于极高的执行效率，不需要线程切换；不需要多线程的锁机制。通过generator实现。子程序就是协程的一种特例def consumer(): r = '' while True: n = yield r if...

高级特性1、切片1.1、对于获取指定索引范围的操作可以用切片比如L[0:3]。获取前三个元素；若第一个索引是0，也可以用L[:3]。tuple也可以用切片操作，获取的结果仍然是tuple。字符串也可以看做是一种list，每个元素就是一个字符。[::2]每2个数取一个。2、迭代python的for循环可以用在所有可迭代对象上，无论有无下标。迭代value，可以用for value ...

函数式编程1、简介Functional Programming。允许把函数本身作为参数传入另一个函数，还允许返回一个函数。2、高阶函数2.1、变量可以指向函数abs(-10)是函数调用，abs是函数本身。函数本身可以赋值给变量，即：变量可以指向函数。f = abs f(-10) --> 102.2、函数名也是变量对于abs()这个函数，完全可以把abs看成是...

1、BigDecimal想加为0如a.add(b); 后a为0应该为a = a.add(B);