我是明星的专栏

我是一只小小鸟啊,一点点往上飞啊飞。。。。。。

ssh连接远程主机执行脚本的环境变量问题

近日在使用ssh命令ssh user@remote ~/myscript.sh登陆到远程机器remote上执行脚本时,遇到一个奇怪的问题: ~/myscript.sh: line n: app: command not found app是一个新安装的程序,安装路径明明已通过/etc/profil...

2019-01-04 15:59:05

阅读数 41

评论数 0

sbt介绍与构建Scala项目

一、sbt简介      sbt是类似ANT、MAVEN的构建工具,全称为Simple build tool,是Scala事实上的标准构建工具。     主要特性: 原生支持编译Scala代码和与诸多Scala测试框架进行交互; 使用Scala编写的DSL(领域特定语言)构建描述 使用I...

2018-08-14 14:49:43

阅读数 65

评论数 0

mongo和hive集成

1.背景 公司希望使用MongoDB作为后端业务数据库,使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来,然后传到HDFS,然后用Hive/MR处理。我感觉这也太麻烦了,现在不可能没有人想到这个问题,于是就搜了一下,结果真找到一个MongoDB Connector for...

2018-07-31 10:58:30

阅读数 258

评论数 0

一个著名的调度系统是怎么设计的?

实习生张大胖   这是个代码写得很烂的电商系统,只要运行一段时间,服务器就会出现Out Of Memory。   别人都忙得四脚朝天,于是实习生张大胖被抓了壮丁去研究为什么会出现OOM。   刚入行的张大胖技术水平一般,“装模作样”地看代码,研究日志,请教老员工,一个星期过去了,还是一...

2018-07-20 12:19:56

阅读数 91

评论数 0

sqoop无法导出parquet文件到mysql

1.问题描述在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中,使用Sqoop工具可以方便的将Hive表数据抽取到RDBMS数据库中,在使用Sqoop抽取Hive Parquet表时作业执行异常。Sqoop抽数脚本:sqoop export \--connect jdbc:mysql...

2018-06-08 14:56:59

阅读数 1781

评论数 0

hive函数大全

非常全的hive函数大全,可以当做一个工具

2017-08-20 19:51:32

阅读数 275

评论数 0

hive join操作总结

hive 各种join做了详细总结,值得阅读

2017-08-20 10:58:05

阅读数 253

评论数 0

AtomicInteger的CAS原理

java并发的cas原理

2017-05-19 16:57:43

阅读数 418

评论数 0

hive mapjoin操作

hive map端join

2017-03-22 11:41:05

阅读数 369

评论数 0

hive数据倾斜(大表join大表)

hive数据倾斜问题

2017-03-20 11:26:04

阅读数 691

评论数 0

hive时间函数

hive时间函数总结

2017-03-14 14:32:02

阅读数 348

评论数 0

linux中xargs用法

linux中xargs中介绍以及一些实例应用

2017-03-09 14:17:27

阅读数 845

评论数 0

kafka经典教程

读过的关于kafka的很好的一篇文章,文章覆盖面很全,可以让你迅速熟悉kafka

2017-03-07 13:40:57

阅读数 246

评论数 0

java锁机制:synchronized、Lock、Condition

java锁机制

2017-03-03 15:50:21

阅读数 192

评论数 0

Spark SQL 之 DataFrame

sparksql中DataFrame介绍

2016-12-29 15:34:46

阅读数 415

评论数 0

spark 将dataframe数据写入Hive分区表

spark-sql dataframe 数据写入Hive分区表

2016-12-29 15:15:02

阅读数 13198

评论数 0

hbase的行锁与多版本并发控制(MVCC)

hbase并发控制机制

2016-11-17 14:42:54

阅读数 505

评论数 0

java高效读取大文件

java高效读取大文件

2016-09-23 15:22:49

阅读数 735

评论数 1

分布式大数据多维数据分析(olap)引擎kylin

kylin基本的安装和使用

2016-08-25 19:38:09

阅读数 14486

评论数 0

kafka常见问题

kafka常见问题

2016-08-09 14:08:11

阅读数 11187

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭