![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工具类
hive+spark+hbase
AI-learner6868
Ai从业者,乐于分享,多多指教
展开
-
hbase的常见api操作
import java.io.IOExceptionimport org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HConstants, HTableDescriptor, TableName}import org.apache.hadoop.hbase.client._import org.apache.hadoop.hbase.util.Bytesimport scala.collection.mutable.Lis原创 2020-09-24 21:16:55 · 110 阅读 · 0 评论 -
Spark-shell中停止打印INFO日志
Spark-shell中停止打印INFO日志spark设置info不显示spark设置info不显示spark-shell在运行时常常输出一堆红色文字日志,影响代码体验,那么如何设置使得info不输出呢?可在代码中如下设置(亲测有效):...原创 2020-09-14 21:17:20 · 492 阅读 · 0 评论 -
hbase基本操作指令
Hbase常用指令输入hbase shell进入HBase shell原创 2020-08-06 20:25:19 · 229 阅读 · 0 评论 -
pyspark按照时间循环补数
pyspark按照时间循环补数1. 制造时间窗口listimport datetimebegin = datetime.date(2020, 7, 13)end = datetime.date(2020, 7, 30)d = begindelta = datetime.timedelta(days=1)date_list = []while d <= end: print(str(d.strftime("%Y-%m-%d"))) date_list.append(原创 2020-08-06 11:40:04 · 456 阅读 · 0 评论 -
Hive的常用优化设置
一、hive的常用参数-- 设置名称set mapred.job.name = "outlet_gds";-- 每个Map最大输入大小set mapred.max.split.size = 300000000;-- 每个Map最小输入大小set mapred.min.split.size = 100000000;-- 执行Map前进行小文件合并set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat原创 2020-08-06 10:21:23 · 665 阅读 · 0 评论