- 博客(10)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 drop、truncate和delete的区别
（1）DELETE语句执行删除的过程是每次从表中删除一行，并且同时将该行的删除操作作为事务记录在日志中保存以便进行进行回滚操作。 TRUNCATE TABLE 则一次性地从表中删除所有的数据并不把单独的删除操作记录记入日志保存，删除行是不能恢复的。并且在删除的过程中不会激活与表有关的删除触发器。执行速度快。（2）表和索引所占空间。 当表被TRUNCATE 后，这个表和索引所占用的空间会恢复...
2018-05-08 10:03:09
413
转载 HIVE调优总结
一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict; 默认值：strict 描述：strict是避免全分区字段是动态的，必须有至少一个分...
2018-04-17 10:01:38
545
原创 Shell中重定向EOF
我们经常在shell脚本程序中用<<EOF重定向输入，将我们输入的命令字符串作为一个执行程序的输入，这样，我们就不需要在那个程序环境中手工输入命令，以便自动执行我们需要的功能，例如：ssh -p6022 wyn@192.168.191.74 <<EOF hive -e "$sql"> /tmp/test_dim_hm_${rundate}.txtEOF其中hive...
2018-04-10 17:09:32
1026
转载 几种数据处理框架的场景比较：传统ETL工具、Mapreduce、Hive、Spark
ref: http://www.sohu.com/a/155141436_151779提起“大数据”就不得不提起有关数据的处理，虽然有人说过大数据在数据质量方面的要求不比传统数据的要求那么严格，当然这也是分场景的断言，但是无论何时数据处理在大数据的生态中始终处于不可缺少的地位，因为数据处理的时效性行，准确性直接影响数据的分析与挖掘，分析的最终结果影响业务的营销与收入。一般而言，数据处理包括前期数据...
2018-04-03 09:00:27
3717
原创 python中redis的使用
Redis 简介Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据...
2018-04-02 13:45:10
792
原创 SourceInsight4.0创建工程
1、New Project2、设定project name，project地址默认3、选择source files的路径4、选择add Tree，就是将该文件夹及其子文件夹里的文件全部包含进来，然后点击close5、如果没有出现如下的project files对话框，则使用ctrl+O打开该对话框6、链接同步...
2018-03-29 14:57:43
21805
1
原创 Linux环境用pdb调试python
使用 pdb 进行调试pdb 是 python 自带的一个包，为 python 程序提供了一种交互的源代码调试功能，主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。pdb 提供了一些常用的调试命令。 pdb的常用命令说明： l #list查看运行到哪行代码 n #next单步运行...
2018-03-29 11:38:14
2683
原创 shell常用命令
1、获取权限sudosudo使一般用户不需要知道超级用户的密码即可获得权限。首先超级用户将普通用户的名字、可以执行的特定命令、按照哪种用户或用户组的身份执行等信息，登记在特殊的文件中（通常是/etc/sudoers），即完成对该用户的授权（此时该用户称为“sudoer”）；在一般用户需要取得特殊权限时，其可在命令前加上“sudo”，此时sudo将会询问该用户自己的密码（以确认终端机前的是该用户本人...
2018-03-28 11:15:51
301
转载 SSH用法及命令
原文：http://blog.csdn.net/pipisorry/article/details/52269785什么是SSH？简单说，SSH是一种网络协议，用于计算机之间的加密登录。如果一个用户从本地计算机，使用SSH协议登录另一台远程计算机，我们就可以认为，这种登录是安全的，即使被中途截获，密码也不会泄露。最早的时候，互联网通信都是明文通信，一旦被截获，内容就暴露无疑。1995年，芬兰学者T...
2018-03-27 17:23:29
4120
原创 与 Hadoop 对比，如何看待 Spark 技术？
作者：王礼Leon链接：https://www.zhihu.com/question/26568496/answer/224439650来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。hadoop和Spark是两种不同的大数据处理框架，他们的组件都非常多，往往也不容易学，我把他们两者整理在一幅图中，给大家一个全貌的感觉。以上这些大数据组件是日常大数据工作中经常会碰到的...
2018-03-11 11:26:38
7227
鸟哥的linux私房菜
2018-08-27
SQL必知必会 第四版
2018-08-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人