afei2530-CSDN博客

转载 sqoop 测试 --hive-delims-replacement 参数

在hive的官方文档中给的例子中字段分隔符是\001,但是在他的API文档中--hive-delims-replacement ，--hive-drop-import-delims 参数中会处理的字符是\0x01,一个时8进制的1，一个是16进制的1，有这么一点差别，lz为了确认这两个是否一样故做了下面的实验Example:CREAT...

2017-10-15 23:57:00 1070

转载 Hibernate获取数据java.lang.StackOverflowError

原因：因为在重写toString()方法时，把关联的属性也放入到toString方法中了，去掉就可以了。如：重写的toString方法中不能有关联关系IDCard属性idCardpublic class Person { private Integer id; private String name; private IDCard idCard;...

2017-10-15 21:07:00 234

转载 myeclipse 从数据库生成java实体类

转载于:https://www.cnblogs.com/rocky-AGE-24/p/7672858.html

2017-10-15 17:44:00 265

转载 sqoop导入数据到hive中元数据问题

简单配置了sqoop之后开始使用，之前用的时候很好用，也不记得有没有启动hivemetastore，今天用的时候没有启动，结果导入数据时，如果使用了db.tablename,就会出现找不到数据库的错，一直找到不到原因，换了sqoop还是一样，后来查了一下，在sqoop/conf下多了一个metastore.db的文件夹，我把这个文件删了，然后把hive-site.xml的文件从...

2017-10-15 17:01:00 380

转载 oracle学习创建和准备Oracle样例数据库

此处有一个Oracle创建数据库和表和插入数据的脚本；http://www.forta.com/books/0672336073/转载于:https://www.cnblogs.com/rocky-AGE-24/p/7670410.html

2017-10-15 11:52:00 126

转载 rm -rf python 实现 v0.1

#coding=utf-8import osdef join(arr,join_falg): res = "" for a in arr: res += a+join_falg return resdef get_file_parats(file): path_arr = file.split("/") ...

2017-10-10 23:34:00 152

转载 javascript 匿名函数

匿名函数没有实际名字，也没有指针，怎么执行滴？其实大家可以看看小括号的意义就应该可以理解。小括号有返回值，也就是小括号内的函数或者表达式的返回值，所以说小括号内的function返回值等于小括号的返回值，不难理解 (function(){})()可以将没有名字的函数执行了把… 关于匿名函数写法，很发散~ 最常见的用法：复制代码代码如下: (function() { aler...

2017-10-10 00:11:00 84

转载 python中的目录递归的创建和目录及其下的文件递归的删除

1，删除目录data下的train及其下的所有文件，相当于linux中的rm -rfimportshutilshutil.rmtree('data/train')2，递归的创建目录data/train，相当于Linux中的 mkdir -pimportosos.makedirs('data/train')人生苦短，...

2017-10-08 22:36:00 98

转载 python文件

#文件操作 open（）#open("路径 + 文件名",”读写模式")f=open('filepath','w') #读写模式：# r只读,r+读写,w新建(会覆盖原有文件),a追加,b二进制文件#常用读写模式#如:'rb','wb','r+b'等等#读写模式的类型有：#rU 或 Ua 以读方式打开, 同时提供通用换行符支持 (PEP 278)...

2017-10-08 18:33:00 63

转载 python 读取大文件，按照字节读取

def read_bigFile(): f = open("123.dat",'r') cont = f.read(10) while len(cont) >0 : print(cont) cont = f.read(10)　　f.close()read_bigFile()def cop...

2017-10-08 17:38:00 439

转载 Kylin 与 Spark SQL相比，有哪些差异和优势？

SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。关于MPP和Cube预处理的差异，重复如下：> MPP [1] 的基本思路是增加机器来并行计算，从而提高查询速度。比如扫描8亿记录一台机器要处理1小时，但如果用100台机器来并行处理，就只要一分钟不到。再配合列式存储和一些索引，查询可以更快返回。要注意这里在线运算量并没有减小，8亿条记录还是...

2017-10-08 09:28:00 96

转载 apache kylin2.10在原生hadoop集群上安装

Install KylinDownload latest Kylin binaries athttp://kylin.apache.org/downloadExport KYLIN_HOME pointing to the extracted Kylin folderMake sure the user has the privilege to run hadoop, ...

2017-10-07 11:31:00 98

转载 ambari安装 QA

1.在安装时出现Public key for ambari-server-2.4.2.0-136.x86_64.rpm is not installed 安装ambari报错在安装HST服务时也报一个类似的错，解决办法都是先执行rpm --import http://server1/soft/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-...

2017-10-07 10:26:00 178

转载 mysql 5.7 学习

MySQL5.7 添加用户、删除用户与授权mysql -uroot -prootMySQL5.7 mysql.user表没有password字段改authentication_string；一. 创建用户:命令:CREATE USER'username'@'host' IDENTIFIED BY 'password';例子: CREATE USER...

2017-10-06 17:11:00 75

转载 Public key for ambari-server-2.4.2.0-136.x86_64.rpm is not installed 安装ambari报错总结

提示;# rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release就是导入这个安装包的key可以使用http的协议比如我用的就是rpm --import http://server1/soft/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Je...

2017-10-06 16:04:00 158

转载 python 练习

friends = []def add_friend(): name = raw_input("please input friend name:") friends.append(name) foreach(friends)def del_friend(): name = raw_input("please input friend ...

2017-10-06 12:17:00 102

转载 centos 扩容

1. 查看挂载点信息：[root@localhost]# df -h文件系统容量已用可用已用% 挂载点/dev/mapper/centos-root 18G 15G 2.9G 84% /devtmpfs 485M 0 485M 0% /devtmpfs 494M 84K 494M 1% /dev/shmtmpfs 494M 7.1M 487M 2% /runt...

2017-10-06 10:32:00 83

转载 Linux中Cache内存占用过高解决办法

在Linux系统中，我们经常用free命令来查看系统内存的使用状态。在一个RHEL6的系统上，free命令的显示内容大概是这样一个状态：这里的默认显示单位是kb，我的服务器是128G内存，所以数字显得比较大。这个命令几乎是每一个使用过Linux的人必会的命令，但越是这样的命令，似乎真正明白的人越少（我是说比例越少）。一般情况下，对此命令输出的理解可以分这几个层次：...

2017-10-05 18:12:00 254

转载 HyperLogLog

数据量一大，连统计基数也成了一个麻烦事。在使用kylin的时候，遇到对度量值进行基数统计，使用的是Hyperloglog算法，占用内存小，误差小，实乃不错的方法，但查阅网上的资料与内容，感觉未能理解的太明白。经过一番折腾，自己给整理出一个版本出来。算法的论文是《HyperLogLog the analysis of a near-optimal cardinality est...

2017-10-05 17:17:00 72

转载星型模式、雪花模式和事实星座模式

多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。1.星型模式的核心是一个大的中心表（事实表），一组小的附属表（维表）。星型模式示例如下所示：2.雪花模式是星型模式的扩展，其中某些维表被规范化，进一步分解到附加表（维表）中。雪花模式示例如下图所示：...

2017-10-05 16:47:00 1323

转载一键安装mysql

#!/bin/bash# # Rrogram:# install mysql# History:# 2017-10-05 luoqi v0.1 release# email:# [email protected] #以下rpm包需要自己下载并和该脚本放在同一目录下#mysql-community-server-5.7.1...

2017-10-05 16:38:00 77

转载 25个必须记住的SSH命令【转】

OpenSSH是SSH连接工具的免费版本。telnet，rlogin和ftp用户可能还没意识到他们在互联网上传输的密码是未加密的，但SSH是加密的，OpenSSH加密所有通信（包括密码），有效消除了窃听，连接劫持和其它攻击。此外，OpenSSH提供了安全隧道功能和多种身份验证方法，支持SSH协议的所有版本。SSH是一个非常伟大的工具，如果你要在互联网上远程连接到服务器，那么SSH无疑...

2017-10-05 09:41:00 51

转载 python 入门练习

1.猜拳游戏import randomimport sys #from random import randintdef guess(): ubuntu = random.randint(0,2)#随机数 print(ubuntu) print("请输入剪刀(0) 石头(1) 布(2)") player = input("请选择:") if i...

2017-09-27 23:50:00 53

转载 TypeError: object() takes no parameters

class Dog(): """ 一次模拟小狗的简单尝试""" def _init_(self,name,age): """ 初始化属性name和age""" self.name = name self.age= age如上面python代码，是学习python类时遇到的一个小例子。但是在运...

2017-09-25 17:12:00 76

转载 import this

>>> import thisThe Zen of Python, by Tim PetersBeautiful is better than ugly. Explicit is better than implicit.#明了胜于晦涩（优美的代码应该是明了的，命名规范，风格相似）Simple is better than complex.#简洁胜于复杂（优美的代码...

2017-09-24 15:58:00 148

转载 python基础学习

但需要注意的是，结果包含的小数位数可能是不确定的：>>> 0.2 + 0.1 0.30000000000000004>>> 3 * 0.1 0.30000000000000004所有语言都存在这种问题，没有什么可担心的。Python会尽力找到一种方式，以尽可能精确地表示结果，但鉴于计算机内部表示数字的方式，这在有些情况下很难。就现在而言...

2017-09-24 15:40:00 68

转载 ython strip lstrip rstrip使用方法

Python中的strip用于去除字符串的首尾字符，同理，lstrip用于去除左边的字符，rstrip用于去除右边的字符。这三个函数都可传入一个参数，指定要去除的首尾字符。需要注意的是，传入的是一个字符数组，编译器去除两端所有相应的字符，直到没有匹配的字符，比如：theString ='saaaay yes no yaaaass...

2017-09-24 15:16:00 87

转载 CentOS6.5 安装Python 的依赖包

1、CentOS6.5 安装Python 的依赖包yum groupinstall "Development tools"yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-dev...

2017-09-24 11:45:00 89

转载 spark wordcont Spark: sortBy和sortByKey函数详解

//统计单词top10def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("tst").setMaster("local[3]") val sc = new SparkContext(conf) //wc val res = s...

2017-09-19 21:29:00 152

转载 scala akka通信机制

https://www.2cto.com/kf/201701/587514.html转载于:https://www.cnblogs.com/rocky-AGE-24/p/7542874.html

2017-09-18 14:23:00 87

转载 redis AOF 和RDB

AOF定义：以日志的形式记录每个操作，将Redis执行过的所有指令全部记录下来（读操作不记录），只许追加文件但不可以修改文件，Redis启动时会读取AOF配置文件重构数据换句话说，就是Redis重启就会根据日志内容从头到尾执行一次来完成数据的恢复工作。Tip:　　一.RDB与AOF同时开启默认先加载AOF的配置文件　　二.相同数据集，AOF文件要远大于RDB文件，恢复...

2017-09-18 11:03:00 59

转载 java虚拟机学习

方法区、堆、栈、程序计数器、本地方法栈方法区（永久去）：类定义，常量，静态变量，各个线程共享的内存区域，即时编译的代码heap：类对象，list，数组线程共享区栈：程序执行时是线程，线程执行就是调用方法，有（局部变量），每个线程都有自己的（线程私有的）；每个方法调用都产生一个栈帧，调用方法就是入栈出栈如果方法一直嵌套调用就会一直压栈，就可能会出现栈溢出，程序计数器：程序执行到哪一行了。...

2017-09-17 17:15:00 60

转载快速排序,一个爱情故事-java版

public static void myquicksort(int[] ages,int girl,int boy){ //这是一个站在数组两端,追求完美爱情的故事 //年龄不匹配的不要 //第0步 if(girl > boy){return;} int perfect = ages[girl]; int i = girl;...

2017-09-17 15:42:00 46

转载 Caused by: java.io.IOException: Added a key not lexically larger than previous.

为了重复这个实验,遇到不少坑https://www.iteblog.com/archives/1889.html/** * Created by Administrator on 2017/8/18. */public class IteblogBulkLoadDriver { public static class IteblogBulkLoadMap...

2017-09-16 20:15:00 1927

转载 java.io.IOException: No FileSystem for scheme: hdfs

解决方案是，在设置hadoop的配置的时候，显示设置这个类："org.apache.hadoop.hdfs.DistributedFileSystem：configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");转载于:https://www.cnblogs.co...

2017-09-16 18:31:00 163

转载 " java.lang.NoSuchFieldError: HBASE_CLIENT_PREFETCH_LIMIT

0down voteThis issue is caused by the version of hbase-client in your pom differing from the jar versions on the server side. If you're using vendor-specific versions (e.g. ...

2017-09-16 17:59:00 396

转载用户活跃度分析

package cn.ibeifeng.sparkimport org.apache.spark.sql.SparkSession/** * 用户活跃度分析 * * 我们这次项目课程的升级，也跟spark从入门到精通的升级采取同步，采用scala+eclipse的方式来开发 * * 我个人而言，还是觉得应该用java去开发spark作业，因为h...

2017-09-15 17:28:00 136

转载 === $ spark sql 的特别的方法

/** * Equality test. * {{{ * // Scala: * df.filter( df("colA") === df("colB") ) * * // Java * import static org.apache.spark.sql.functions.*; * df.fil...

2017-09-15 14:54:00 97

转载 RDD、DataFrame和DataSet

简述RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同：DataFrame多了数据的结构信息，即schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。作者：jacksu来源：简书|2016-03-21 10:40RDD、DataFrame和DataS...

2017-09-15 14:28:00 73

转载 SQL中的DML、DDL以及DCL是什么?

DML（data manipulation language）是数据操纵语言：它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言。DDL（data definition language）是数据定义语言：DDL比DML要多，主要的命令有CREATE、ALTER、DROP等，DDL主要是用在定义或改变表（TABLE...

2017-09-14 19:33:00 67

空空如也

空空如也