- 博客(177)
- 收藏
- 关注
RSS订阅转载 [hadoop] kettle spoon 基础使用 (txt 内容抽取到excel中)
spoon.bat 启动kettle。测试数据1. 新建转换输入中选择文本文件输入双击设置文本输入字符集、分隔符设置获取对应的字段，预览记录。拖入 excel输出，设置转换关系设置输出路径获取字段启动转换导入的excel数据（设置好格式,图中ID,...
2017-09-21 18:34:00
667
转载 [python] python3.6 安装 pytesseract 出错
安装pytesseact出错，下载 tesseract-ocr , 地址 https://github.com/tesseract-ocr/tesseract修改pytesseract.py设置OCR环境变量.ok,可以正常识别简单验证码了。转载于:https://www.cnblogs.com/lonelywolfmoutain/p/725...
2017-07-28 20:45:00
497
转载 [sqoop] sqoop 小试牛刀
sqoop 1.4.6 小试牛刀sqoop import 参数1. mysql导入 到hdfs中./sqoop import --connect jdbc:mysql://mysql:3306/part --username root --password 123456 --table big_hdfs -m 1 --target-dir /sq...
2017-06-26 10:52:00
223
转载 [数据结构] 时间复杂度计算
1. 算法的特性输入(Input)一个算法有0个或多个输入，以刻画运算对象的初始情况，所谓0个输入是指算法本身定出了初始条件；输出(Output)一个算法有一个或多个输出，以反映对输入数据加工后的结果。没有输出的算法是毫无意义的。可以在控制台打印输出或者返回一个或多个值等。确定性(Definiteness)算法中的每一步骤必须有确切的含义，不能产生多义性：可行...
2017-06-20 09:24:00
213
转载 【二叉树】 二叉树基础
在计算机科学中，二叉树是每个节点最多有两个子树的树结构。通常子树被称作“左子树”（left subtree）和“右子树”（right subtree）。二叉树常被用于实现二叉查找树和二叉堆。二叉树的每个结点至多只有二棵子树(不存在度大于2的结点)，二叉树的子树有左右之分，次序不能颠倒。二叉树的第i层至多有个结点；深度为k的二叉树至多有个结点；对任何一棵二叉树T，如果其终端结点数为...
2017-06-10 22:17:00
226
转载 【hbase】Unable to read additional data from client sessionid 0x15c92bd1fca0003, likely client has clo...
启动hbase ,验证出错Master is initializing查看zk日志，发现Unable to read additional data from client sessionid 0x15c92bd1fca0003, likely client has closed socket转载于:https://www.cnblogs.com/lonel...
2017-06-10 11:57:00
683
转载 [hbase] hbase 基础使用
一、准备hadoop 2.8.0 (提前配置好)hbase 1.2.6zookeeper 3.4.9 （配置完成）jdk1.8hadoop 集群信息：zk集群：二、安装配置1.下载（官网地址）2.解压到 /opt/hadoop/3. 修改 conf/hbase-env.shexport JAVA_HOME=/usr/java...
2017-06-09 16:02:00
134
转载 [pig] pig 基础使用
1.pig运行模式本地模式： pig -x local 直接访问本地磁盘集群模式： pig 或者 pig -x mapreduce2.pig latin 交互帮助信息 help上传本地文件到hdfs中查看内容 cat加载数据grunt> A = load '/pig/input/a.data' using PigStorag...
2017-06-08 10:50:00
458
转载 [sqoop] sqoop2 使用
sqoop版本1.99.7 ，安装省略1. 启动server sqoop2-server start2. sqoop2-shell 链接表示安装成功。创建link查看link创建job查看job导入到hdfs 中的数据：异常：1.2.GEN...
2017-06-02 18:59:00
157
转载 [hive] hive 内部表和外部表
1.内部表hive (test1)> create table com_inner_person(id int,name string,age int,ctime timestamp) row format delimited fields terminated by ',';OKTime taken: 0.233 secondshive (test1)>...
2017-06-01 17:15:00
116
转载 [algorithm] 汉诺塔问题
汉诺塔是根据一个传说形成的一个问题。汉诺塔（又称河内塔）问题是源于印度一个古老传说的益智玩具。大梵天创造世界的时候做了三根金刚石柱子，在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆放在另一根柱子上。并且规定，在小圆盘上不能放大圆盘，在三根柱子之间一次只能移动一个圆盘。一、 问题可以抽象为A、B、C三个柱子，A上从上向下串着半...
2017-05-26 14:23:00
109
转载 【algorithm】 二分查找算法
二分查找算法:<维基百科>在计算机科学中，二分搜索（英语：binary search），也称折半搜索（英语：half-interval search）[1]、对数搜索（英语：logarithmic search）[2]，是一种在有序数组中查找某一特定元素的搜索算法。搜索过程从数组的中间元素开始，如果中间元素正好是要查找的元素，则搜索过程结束；如果某一特定元素大于或者小于中...
2017-05-26 10:28:00
214
转载 [algorithm] Dijkstra双栈算法表达式求值算法
一、原理Dijkstra所做的一个算法，双栈求值，用两个栈（一个保存运算符，一个用于保存操作数），表达式由括号，运算符和操作数组成。(1).将操作数压入操作数栈(2).将运算符压入运算符栈；(3).忽略左括号；(4).在遇到右括号时候，弹出一个运算符，弹出所需数量的操作数，并将运算符和操作数的运算结果压入操作数栈。二、算法轨迹图左括号忽略,右括号开始...
2017-05-25 13:21:00
245
转载 【hive】 hive 加载数据
1. insert 插入数据要保证启动了jobhistory否则会抛出异常hdfs中查看内容2. create table 表名字 select 字段... from 表名hdfs查看数据3. load data 加载，row format 指定数据的分隔符 '|'转载于:https://www.cnblogs...
2017-05-21 20:26:00
278
转载 [hive] hiveql 基础操作
1. 显示当前的数据库信息直接修改hive.site.xml ，永久显示2. 建表，模糊显示表信息drop table 表名称； --删除表show tables ;--显示所有表show tables like "*u*"; --- 模糊匹配表信息create table ；--- 语法和mysql 相似，创建表describe ...
2017-05-19 18:04:00
141
转载 [hive] hive 安装、配置
一、hive安装1.官网下载 1.2.2版本http://apache.fayea.com/hive/hive-1.2.2/2. 解压，此处目录为/opt/hadoop/hive-1.2.23. 修改 conf/hive-env.sh4. 重命名 hive-default.xml.template 为 hive-site.xml 此处配置元...
2017-05-19 15:27:00
128
转载 [hive] hive cli 命令行
hive 版本 1.2.2帮助信息-d 属性 set 和 set -v变量 hive --define 和 hivevar:变量名字-e 不启动hive，执行完成后自动退出。 hive -e ""-S or --slient 静默执行 , 加上管道流模糊匹配要设置的属性信息-f , 从文...
2017-05-19 11:51:00
175
转载 [hadoop] hadoop 运行 wordcount
讲准备好的文本文件放到hdfs中执行 hadoop 安装包中的例子[root@hadoop01 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /input/ /output/wordcount17/05/14 02:01:17 INFO client.RMPro...
2017-05-14 10:38:00
129
转载 【hadoop】 hdfs shell 命令交互
1.put 本地文件上传至hdfs中2. cat 查看内容3. 删除文件，文件夹4. ls5. copyFromLocal 复制本地文件到HDFS ,copyToLocal hdfs 复制到本地 ， moveFromLocal ,moveToLocal6. appendToFile 将本地文件追加到hdfs文件其他更...
2017-05-08 16:38:00
166
转载 [hadoop] hadoop native libraries 编译
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。解决方法：一、去网站：h...
2017-05-07 09:49:00
213
转载 【hadoop】 hadoop 单机伪分布式安装
准备： 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_121export PATH=$JAVA_HOME/bin:$PATH...
2017-05-07 08:40:00
117
转载 [hadoop] hdfs 格式化错误 java.net.UnknownHostException
执行 hdfs namenode -format 抛出错误主机名称异常，查看主机信息原来 通过 bogon 无法找到主机 ，在host 中也没有对应的映射信息修改后即可再次执行 hdfs namenode -format 正常启动。参考：深入理解Linux修改hostname转载于:https://www.cnblogs.c...
2017-05-07 07:23:00
602
转载 【scala】 scala xml 处理(⑨)
1.scala 处理xml2. 获取属性3.修改节点4.遍历5.模式匹配6.命名空间7.文件加载import scala.xml._/** * @author xwolf * @since 1.8 */object Xml { def main(a:Array[String]):Unit={ //d...
2017-05-05 15:11:00
170
转载 [scala] scala 集合(⑧)
1.List 基础操作2.Set 基础操作3. TreeSet 排序Set4. 拉链操作5. 流import scala.collection.immutable.TreeSetimport scala.util.Random/** * @author xwolf * @date 2017-04-25 15:26 * @sinc...
2017-04-27 17:39:00
81
转载 [scala] scala 函数 (⑦)
1.scala 函数定义2.scala 高阶函数3.匿名函数4.柯里化import scala.math._/** * @author xwolf * @date 2017-04-24 9:57 * @since 1.8 */class Function { // _ 将round 方法转化为函数 val c...
2017-04-25 11:16:00
77
转载 [scala] scala 对象(六)
1、单例对象和伴生对象2、定义单利对象的apply方法可不通过构造器直接创建对象3、extends 来扩展单例对象4、枚举实现/** * 单例对象 * * @author xuejz * @date 2017-04-13 16:41 * @since 1.8 *///单例对象class Parent extends Ac...
2017-04-19 23:33:00
67
转载 流量监管和流量整形
1 前言本文主要阐述Qos技术中流量监管和流量整形的实现机制。本文描述现今IETF对流量规格度量的两种算法来了解令牌桶的工作原理；主要讲述我司路由器流量监管和流量整形的实现机制，由于流量限速也用到相同的令牌桶处理机制，所以也讲述了流量限速的实现机制。2 流量监管和流量整形简介在提供QoS服务时，网络边界路由器与内部路由器功能有所侧重，并像一个整体一样相互协作。Diff-Ser...
2017-04-15 22:41:00
439
转载 【linux】 linux 禁止ping
linux 禁止 ping一、修改内核参数1.临时允许PING操作的命令为：echo 0 >/proc/sys/net/ipv4/icmp_echo_ignore_all2.永久允许PING配置方法。 /etc/sysctl.conf中增加一行 net.ipv4.icmp_echo_ignore_all=...
2017-04-13 12:06:00
145
转载 【scala】 scala 类 （五）
1、scala类 1.class 关键字 2.var 属性 默认生成getter/setter 方法 3.val 属性 默认生成getter 方法 4. 自定义getter /setter 方法 , property 和 proeprty_ 方法来表示 getter 和setter方法 5. 主构造函数 和辅构造函数的定义使用 6.使用 @BeanPr...
2017-04-12 18:33:00
77
转载 【scala】 scala 映射和元组操作(四)
1、映射 Map 定义 ,取值，遍历,排序2. 元组定义，取值，拉链操作import scala.collection.mutable/** * 映射和元组 * * @author xwolf * @date 2017-04-12 11:23 * @since 1.8 */object MapTest {...
2017-04-12 16:36:00
150
转载 【scala】scala 数组 (三)
基础内容1. 数组定义 定长、可变数组的定义;元素添加，删除,排序，求和等常用运算import scala.collection.mutable.ArrayBufferimport scala.math.BigDecimal.RoundingMode/** * @author xwolf * @date 2017-04-09 18:...
2017-04-12 11:09:00
102
转载 【scala】 scala 条件控制 和异常处理(二)
1.scala 变量定义 ,var val 区别。var 定义可变变量val 定义不可变变量，scala 推荐使用。相当于Java的final 变量.scala中包含的基本数据类型详情如下表所示：序号基本类型增强类型大小取值范围1ByteRichByte8-bit-128 ~ 1272CharRich...
2017-04-10 17:57:00
154
转载 【scala】 scala 基础(一)
至于什么是scala,摘录一段 维基百科的解释:scala 下载 安装 省略1.环境变量配置完成后 命令行报错,因为scala 的安装路径里边包含空格修改后即可。由于我的本地包含空格，此处CLI交互就省略了。2.IDEA 下载scala 插件 配置SDK。eclipse 省略。3. 创建scala 入门项目,创建单例对象object...
2017-04-10 16:23:00
74
转载 [mysql] Incorrect string value: '\xE4\xBC\x9A\xE5\x91\x98' for column 'name' at row 1
数据库字符集错误，修改为UTF8/utf8mb4字符集即可。转载于:https://www.cnblogs.com/lonelywolfmoutain/p/6624503.html
2017-03-26 22:45:00
434
转载 【jmeter】jmeter 压力测试
1、添加线程组,添加CSV Data set config设置要读取的文件的路径,内容。指定文件名称,文件编码,变量名，分割符等。2、添加HTTP请求，注意参数3、添加监听信息模拟高并发 ，50个线程数(用户),12次循环.总请求数为： 50*12启动运行。查看聚合报告：转载于:https...
2017-02-27 18:22:00
69
转载 【jmeter】 jmeter 测试HTTP接口
到apache官网下载jmeter:http://jmeter.apache.org/download_jmeter.cgi1、运行 bin/jmeter.bat ,添加线程组2、添加HTTP请求添加cookie ,请求头，授权信息等3、添加监听器，查看结果信息基本的配置已经完成,可以设置具体的请求参数来测试接口了。此处设置从文件...
2017-02-27 17:32:00
79
转载 [web] spring boot 整合MyBatis
1.maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation...
2017-02-25 23:13:00
80
转载 【java】 java SPI
SPI（Service provider interface）是旨在由第三方实现或扩展的API。它可以用于启用框架扩展和可替换组件。服务是一组众所周知的接口或（通常是抽象的）类。服务提供者是服务的特定实现。提供程序中的类通常实现接口并对服务本身中定义的类进行子类化。服务提供程序可以以扩展的形式安装在Java平台的实现中，即，jar文件放置在任何通常的扩展目录中。提供者也可以通过...
2017-02-24 17:03:00
103
转载 【数据结构】二叉树
摘自维基百科:在计算机科学中，二叉树（英语：Binary tree）是每个节点最多有两个子树的树结构。通常子树被称作“左子树”（left subtree）和“右子树”（right subtree）。二叉树常被用于实现二叉查找树和二元堆积。二叉树的每个节点至多只有二棵子树(不存在度大于2的节点)，二叉树的子树有左右之分，次序不能颠倒。二叉树的第i层至多有个节点；深度为k的二叉...
2017-02-11 11:09:00
200
转载 【D】分布式系统的CAP理论
2000年7月，加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后，麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后，CAP理论正式成为分布式计算领域的公认定理。CAP理论概述一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Pa...
2017-02-08 22:17:00
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人