- 博客(20)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 hive你不知道的操作有哪些
SHOW FUNCTIONS：显示hive当前的会话有多少函数可以使用DESC FUNCTION concat ：显示concat函数的描述信息DESC FUNCTION EXTENDED concat： 显示如何使用concat函数等SHOW CREATE TABLE tablename： 显示当时的建表语句SHOW COLUMNS tablenameSHOW PARTITI
2016-10-31 22:54:43
377
原创 Java JDBC 进行批量跟新操作
//Java JDBC 进行批量跟新操作1. 先定义一个DAO接口专门为某个model数据集的增删改查进行服务。public interface IAdStatDAO {// 可以用于增删改void updateBatch(List adStats);}2. // 对数据进行批量的更新public class AdStatDAOImpl implem
2016-10-28 22:36:27
616
原创 hive 动态加载数据到指定分区，以及其他hive使用的技巧
hive修改分隔符：alter table tableName set SERDEPROPERTIES('field.delim'='\t'); hive根据数据创建分区，并且动态加载数据到分区insert into table device_status_log partition( date ) select `vin`,`obd_
2016-10-26 13:23:02
7529
转载 Spark on Yarn: Where Have All the Memory Gone?
Spark on Yarn: Where Have All the Memory Gone?Efficient processing of big data, especially with Spark,is really all about how much memory one can afford, or how efficient use onecan make of the
2016-10-24 16:18:44
384
转载 关于MySQL数据导出导入的文章,
1.备忘2.供开发人员测试工具mysqlmysqldump应用举例导出导出全库备份到本地的目录mysqldump -u$USER -p$PASSWD -h127.0.0.1 -P3306 --routines --default-character-set=utf8 --lock-all-tables --add-drop-datab
2016-10-22 17:04:29
423
原创 mysql update join sql语句总结
首先注意的是你用的是mysql还是sqlserver此处是针对mysql 进行join进行更新的mysql> select * from goods;+------+----------+-------+--------+| id | name | price | cat_id |+------+----------+-------+--------+|
2016-10-21 14:19:13
1138
原创 Column count doesn't match value count at row 1
mysql 中执行 insert into 时报错: Column count doesn't match value count at row 1经检查发现是因为列数和表中的列数不对应导致 的（比如想要插入的数据没有自增列），此时就应该指定个字段的列名。报错之前：" insert into locus_bycar_detail " +" select b.bid,cast(b.
2016-10-21 13:37:48
750
原创 sparksql 过滤出null值
过滤出空的值 : by_car_score_id.filter("type is not null") by_car_score_id.filter("type is null")下面的方法试了可是不行:df.where(df.col("type").isNull()) df.where(df.col("type").isNotNull())df.filter(d
2016-10-17 18:00:59
12633
原创 flatMap功能不只是wordcount,不知不觉用flatmap实现了hive的自带函数explode功能
// 不知不觉用flatmap实现了hive的自带函数explode功能。import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.RowFactoryimport org...
2016-10-17 11:24:00
1546
原创 Mac版虚拟机怎么安装win7系统（详细教程）
VMware12版虚拟机怎么安装win7系统（详细教程） 现在很多人都会在虚拟机上体验不同的系统，可是很多时候我们并不能非常顺利的安装好系统，这中间经常会出现很多差错，导致我们安装不上，比如在虚拟机上安装win7系统，很多人发现安装的时候总是会跳到工具箱中去，导致根本不能安装，小编在这里将详细的新版虚拟机安装win7系统的方法分享给大家，希望能够帮助到各位有需要的朋友。
2016-10-15 15:17:19
696
转载 hbase0.98 endpoint实现group分组求和代码
hbase0.98 endpoint实现group分组求和代码先前实现了自定义的filter，这个分组求和功能以后有空实践以下是否可用。1，制作test.proto文件：option java_package = "com.coprocessor.group.generated"; option java_outer_classname = "Grou
2016-10-12 17:59:08
1145
原创 java.sql.SQLException: Before start of result set
java.sql.SQLException: Before start of result set 若果在查询sql语句执行后得到ResultSet直接用next会报错的。一定要先加上 rs.next();判断，如果为 true 然后在使用rs.getString();而且getString(index), index从1开始。ResultSet对象代表SQL语句执行的
2016-10-11 14:36:48
493
原创 更改字段名称以及更改字段的顺序
更改某一字段在指定的字段之后 alter table vehicle_gps_log change create_time create_time string after absolute_throttle ;
2016-10-11 14:29:49
2324
原创 dataFrame selectExpr 使用示例
使用udf函数 别名添加一列值 var df_score = df_poi.selectExpr("*", "get_score(speed_up,speed_down,highspeed_count,start_time,end_time,avg_speed) as SCORE ");添加一列df_score.withColumn(colName, col)
2016-10-11 10:55:58
11387
转载 Linux查看文件编码格式及文件编码转换
Linux查看文件编码格式及文件编码转换如果你需要在Linux 中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。下面介绍一下，在Linux中如何查看文件的编码及如何进行对文件进行编码转换。查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在
2016-10-09 14:23:12
1480
原创 Hive设置参数的三种方法
Hive设置参数的三种方法Hive提供三种可以改变环境变量的方法1.修改${HIVE_HOME}/conf/hive-site.xml配置文件； 在Hive中，所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xml文件，放在${HIVE_HOM
2016-10-08 18:41:20
3587
原创 HBase 权限控制
HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. access.AccessController来提供安全管控能力。
2016-10-06 23:25:24
6969
原创 Spark Accumulator的正确使用方式
Spark1.6中的public static void main(String[] args) {SparkConf conf = new SparkConf().setMaster("local[3]") .setAppName("CoalesceTest");JavaSparkContext sc = new JavaSparkContext(conf);SQLCon
2016-10-06 20:02:44
3775
转载 批量Load到HBase
hbase提供了写的操作，通常，我们可以采用HBase的Shell 客户端或者Java API进行操作。如果数据量大的话，这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话，HBase的数据存储格式是HFile定义的格式。批量导入HBase主要分两步：通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的，存储HFile
2016-10-06 11:39:03
644
原创 hbase的 export以及import工具使用示例 + 时间区间+ key前缀
1.hbase中的数据hbase(main):025:0> scan 'users'ROW COLUMN+CELL TheRealMT ...
2016-10-06 10:37:26
15062
5
useragent解析逻辑&手机品牌匹配.txt
2021-11-22
shakespeare.json&logs;.jsonl.gz&accounts;.zip
2018-01-10
kafka-manager 1.3.3.15
2018-01-08
百度网盘 数据仓库工具箱 维度建模权威指南 第3版 全
2017-10-16
数据仓库工具箱 维度建模权威指南 第3版
2017-10-16
IDEA 创建scala工程并打指定的依赖包
2017-08-11
hbase自定义Comparator进行数值比较
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人