小甜点
Apache_Jerry
你的眼睛在发光 --大数据数据仓库小职员一名
展开
-
pycharm 新建文件后选错文件格式怎么改
pycharm 新建文件后选错文件格式怎么改pycharm 版本 2021.1.3 版本网上搜的都不能用, 版本不太一样, 可能设置的方式也不一样比如这里新建文件时 指定了错误的文件类型, 虽然后面改成.sql, 但是 默认还是txt 文件格式, 就很烦,这个时候要自己改点击 file - File Properties - Associate with File Type然后选择相应的文件类型就ok 了...原创 2021-07-14 15:10:06 · 3111 阅读 · 2 评论 -
支持Impala 的数据库查询工具
支持Impala 的数据库查询工具CDH自带的HUE, 网页版查询工具, 底层通过python进行数据查询分析, 中文界面;Jetbranins 系列的软件, 通过JDBC进行连接, 比较推荐他家的 DataGrip, 英文界面;开源的 Dbeaver, 完全开源免费,使用也很方便, 通过JDBC连接, 中文界面;DBVisualizer, 通过JDBC连接,个人感觉界面风格不适合我, 没有深入使用下面介绍一下连接的操作步骤HUEHue 没有教程, 直接点进去用就好了…DataGrip原创 2021-04-15 11:59:05 · 2400 阅读 · 2 评论 -
如何以管理员权限来操作 hdfs
Hadoop 的管理员用户是hdfs, 我们只要在 centos 中使用 hdfs用户来操作hadoop, 他默认识别到的就是管理员了 .sudo -u hdfs hadoop fs -mkdir -p /user/spark/applicationHistorysudo -u hdfs hadoop fs -chmod -R 777 /user/sudo -u hdfs hadoop fs -chown hdfs:supergroup /usersudo -u hdfs hadoop fs原创 2021-03-30 11:29:53 · 397 阅读 · 0 评论 -
tldr no internet connection detected. Please reconnect and try again.
(base) wangyoujundeMacBook-Air:~ jerry$ tldr -husage: tldr [-h] [-u] [--download_cache] [-p PLATFORM] [-s SOURCE] [-c] [-r]Python command line client for tldroptional arguments: -h, --help ...原创 2020-04-15 16:37:29 · 2491 阅读 · 0 评论 -
Windows 桌面美化
大家都是程序员,我平时上班用mac,mac没啥想调整的,自己用的win想搞美化一点,就网上搜了不少东西。这是我现在的桌面,桌面软件用的是wallpaper,stream18元有售。内部还有福利。。。。我只保留了垃圾桶,清垃圾方便点,当然也可以删掉,但是比较麻烦,可以网上搜教程。平时要找程序是这样找的, 就是将桌面上的快捷方式,右键 -> 固定到开始屏幕translucentDB...原创 2020-04-11 11:34:27 · 745 阅读 · 0 评论 -
Insert Overwrite 进行hive或impala小文件合并后 文件数量不是1
HDFS的表里面,按天分区,每个分区都有很多的小文件,长此以往必然会导致性能的下降。所以我们在保持原来的业务逻辑不变,增加每日跑批 来合并分区内的小文件。刚开始我是直接Impala执行Insert overwrite ,想合并某一天分区内的4份文件, 发现分区内部的文件数还是4个,我就纳闷,以为我记错了 overwrite 的执行原理,然后使用Hive 进行 insert overwrite,结...原创 2020-04-11 11:11:26 · 3305 阅读 · 0 评论 -
Linux VIM 编辑常用命令
Linux vi/vim所有的 Unix Like 系统都会内建 vi 文书编辑器,其他的文书编辑器则不一定会存在。但是目前我们使用比较多的是 vim 编辑器。vim 具有程序编辑的能力,可以主动的以字体颜色辨别语法的正确性,方便程序设计。相关文章:史上最全Vim快捷键键位图 — 入门到进阶什么是 vim?Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程...转载 2020-02-25 14:23:03 · 217 阅读 · 0 评论 -
Linux 查看系统资源的命令(CPU,内存,磁盘,网络)
Linux 查看系统资源的命令1. CPUtop 命令命令 参数d:指定更新的间隔,以秒计算。q:没有任何延迟的更新。如果使用者有超级用户,则top命令将会以最高的优先序执行。c:显示进程完整的路径与名称。S:累积模式,会将己完成或消失的子行程的CPU时间累积起来。s:安全模式。i:不显示任何闲置(Idle)或无用(Zombie)的行程。n:显示更新的次数,完成后将会退出top...转载 2020-02-24 17:17:30 · 11623 阅读 · 0 评论 -
大学时拍的微电影,记录一下,以后别忘了。
谁的大学不迷茫原创 2019-08-15 15:07:13 · 344 阅读 · 0 评论 -
pycharm 怎么进行多行编辑
方法一:在代码界面,点击鼠标右键,然后按住鼠标左键下拉选择就行了方法二:直接按下快捷键,alt+shift+insert,然后长按鼠标左键下拉即可进入多行编辑模式。...原创 2019-07-09 15:43:36 · 8032 阅读 · 0 评论 -
IDEA 中无法导入自己写的模块问题
选中文件夹后再右键,将你的文件夹设置问source root,就可以导入这个模块文件了原创 2019-03-19 09:54:34 · 2808 阅读 · 0 评论 -
将csv 文件导入到impala 和 kudu中
将csv 文件导入到impala 和 kudu中具体实现方法:一、对于impala表前提:因为impala不支持导入本地文件(和hive有点区别),所以要先上传到hdfs上,再加载数据(impala 里面,local是保留字)hadoop fs -mkdir -p /tmp/csvhadoop fs -put /home/youjun/impala.csv /tmp/csvhadoo...原创 2019-03-19 18:13:31 · 3789 阅读 · 0 评论 -
修改HDFS上的文件权限
在IDEA中使用Java API 或者 Scala API 操作HDFS的时候,有时候会报这个错误:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Apache_Jerry, access=WRI...原创 2018-12-20 20:52:40 · 17203 阅读 · 0 评论 -
用 ntpdate 来修改linux 的系统时间,同步集群的时间
命令:ntpdate ntp.aliyun.com若是没有这个ntpdate 命令,就自己下载安装yum -y install ntpdate阿里雲的其他的时间服务器:Unix/linux类:ntp.aliyun.comntp1.aliyun.comntp2.aliyun.comntp3.aliyun.comntp4.aliyun.comntp5.aliyun.comn...原创 2018-11-13 09:03:34 · 499 阅读 · 0 评论 -
CentOS 6.9 安装fortune+cowsay实现登录欢迎
一、fortune+美国中餐馆的最后一道菜,往往是小甜饼,叫做"幸运饼"(fortune cookie)。里面有一张纸条,写着人生格言。今天就讲讲如何在centOS 里 安装 fortune1.1 yum 在线安装这个方法比较简单方便,步骤如下:1.输入命令: yum -y update2. 更新好之后,yum -y install fortune最近我们的网不好,下不下来。...原创 2018-10-10 21:21:37 · 2720 阅读 · 1 评论