- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 hdfs常用命令：一
文件操作(1) 列出HDFS下的文件hdfs dfs -ls /(2) 列出HDFS文件下名为users的文档中的文件hdfs dfs -ls /users(3) 上传文件将hadoop目录下的test01文件上传到HDFS上并重命名为test02：hdfs dfs -put test01 /test02(4) 文件被复制到本地系统中将HDFS中的tes...
2018-08-21 16:11:25
424
原创 spark读取postgresql中的数据
spark读取postgresql中的数据： 代码实现val pgUrl = "jdbc:postgresql://ip:5433/databaseName"// 读取pg中的数据val df1 = hiveContext.read.format("jdbc") .option("url", pgUrl) .option("user", "user") .opti...
2018-08-17 12:18:45
3287
原创 spark将数据加载到postgresql中的Scala实现
spark将数据加载到postgresql中： 方法一：def save2Postgresql(jdbcDf: DataFrame, url: String, tableName: String) = { jdbcDf.insertIntoJDBC(url, tableName, false) }方法二：def save2Postgresql(jdbcDf: Da...
2018-08-17 12:12:29
1955
原创 Scala实现--获取两个日期至今的所有日期包括开始日期和结束日期
获取两个日期至今的所有日期包括开始日期和结束日期： /** * 获取两个日期之间的日期 * @param start 开始日期 * @param end 结束日期 * @return 日期集合 */ def getBetweenDates(start: String, end: String) = { val startData = new Simpl...
2018-08-17 11:47:08
4826
转载 Hive修改表语句
1.ALTER TABLE table_name RENAME TO new_table_name; 上面这个命令可以重命名表，数据所在的位置和分区都没有改变。2：改变列名/类型/位置/注释1.ALTER TABLE table_name CHANGE[CLOUMN] col_old_name col_new_name column_type[CONMMENT col_conmment]...
2018-08-09 15:42:52
2052
原创 Hive中关于日期函数使用
1.时间戳函数 日期转时间戳：从1970-01-01 00:00:00 UTC到指定时间的秒数 获得当前时区的UNIX时间戳: select unix_timestamp(); 1533716607将指定的时间转为UNIX时间戳 :select unix_timestamp('2018-08-08 16:22:01'); 1533716521将指定的时间转为UNIX时间戳: sele...
2018-08-08 16:43:41
5386
转载 Hadoop Yarn 的三种资源调度器详解
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择在Yarn中有三种调...
2018-08-08 16:19:23
8333
转载 hive函数大全
hive的内置方法很多，特被容易忘，记录在次方便使用。 1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE 。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。 A != B 所有原始类型 如果A不等于B返回TRU...
2018-08-02 11:18:50
542
x-pack-sql-jdbc.rar
2020-09-01
scala-2.12.11.tgz
2020-06-08
docker-compose-Linux-x86_64
2018-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人