![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
醉糊涂仙
这个作者很懒,什么都没留下…
展开
-
hive表和kudu表删除指定数据
1,hive表删除数据1.1 分区表1.1.1 删除具体partitionalter table table_name drop partition(partiton_name='xxx'))1.1.2删除具体partition的部分数据 INSERT OVERWRITE TABLE table_name PARTITION(year='2018') SELECT * FROM table_name WHERE year='2018' AND month>6;.原创 2020-05-11 12:18:47 · 5076 阅读 · 0 评论 -
QPS和TPS
一,QPS 每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 因特网上,经常用每秒查询率来衡量域名系统服务器的机器的性能,其即为QPS。 对应fetches/sec,即每秒的响应请求数,也即是最大吞吐能力。 计算关系: QPS = 并发量 / 平均响应时间 并发量 = QPS * 平均响应时间二,TPS TPS (transaction per se...转载 2018-07-17 08:58:47 · 3923 阅读 · 0 评论 -
大数据发展的两个方向
大数据发展分两大块: 1,提供硬件支持(bigdata management) 背景: 1)大中小型公司数据越来越多,无论数据是否关系型,传统数据库都越来越无法满足存储数据量的需求. 2)非关系型数据库当下很火热,许多公司开始转型. 3)硬件很贵,一台服务器需要十几二十万,一个简单的集群最少也得5个节点,小公司负担不起. 4)综上,催生一种服务公司,专门搭建大型集群为其他公司提供数...原创 2018-07-30 09:02:08 · 1069 阅读 · 0 评论 -
模型复杂度与预测误差关系
例子: 某个考生穿红色衣服去考试考了高分,第二次该考生又穿了红色衣服去考试仍然高分,如此往复多次,最后他归结原因考高分的原因是穿了红衣服.明显不正确....原创 2018-07-30 10:22:44 · 2820 阅读 · 0 评论 -
数据比算法重要
学术界和工业界对数据以及算法的侧重点:原创 2018-07-30 10:34:50 · 692 阅读 · 0 评论 -
大数据架构图
原创 2018-10-23 13:53:07 · 4770 阅读 · 0 评论 -
大数据知识体系图
原创 2018-10-23 13:54:47 · 3240 阅读 · 1 评论