WorkTools
工作杂项记录,优化简化工作方案。
ddttoop
数据仓库、Hadoop生态、数据分析、BI
展开
-
Linux下安装google protobuf-v2.5.0
# Tez源码编译# 编译需要安装protobuf-2.5.0# 这里介绍Linux下安装protobuf-2.5.0root@kylin:~/wget# wget -c https://github.com/protocolbuffers/protobuf/archive/v2.5.0.tar.gzroot@kylin:~/wget# mkdir /opt/protobufroot@kylin:~/wget# mv v2.5.0.tar.gz protobuf-v2.5.0.tar.gzro原创 2020-11-24 11:52:48 · 623 阅读 · 0 评论 -
升级WSL中的Ubuntu系统
Bash on Ubuntu on Windows查看当前Ubuntu版本:lsb_release -a按照以下命令步骤依次执行进行升级:sudo dpkg --force depends -P lxd; sudo dpkg --force depends -P lxd-clientsudo nano /etc/update-manager/release-upgrades然后,把 Prompt 的值由 lts 修改成 normal 即可。(Ctrl+提示命令)sudo do-relea原创 2020-05-11 18:16:00 · 3492 阅读 · 1 评论 -
第一份工作中常使用软件工具归纳整理(20200421)
工作中常使用软件工具归纳整理辅助工具:Everthing :快速定位文件目录。FastStone Capture :截网页长图。OneNote 2016数据库客户端:PL/SQL :简单快捷;Toad for Oracle :功能居多DBeaver :开源多选择。ETL工具:PDI(Kettle):开源ETL工具。(Spoon7.1&Spoon9.0)报表...原创 2020-04-21 18:03:28 · 265 阅读 · 0 评论 -
Linux 之awk命令获取指定列
这里介绍 linux ll、cat等命令以管道命令结合awk在结果中输出指定列的操作:#指定输出第一列和第九列$ ll | awk -F' ' '{print $1,$9}' #列之间是空格符$ ll | awk -F',' '{print $1,$9}' #列之间是逗号符#定输出最后一列$ ll | awk -F' ' '{print $NF}' #列之间是空格符$ ll | aw...原创 2020-04-10 12:08:09 · 13659 阅读 · 0 评论 -
DBeaver SQL客户端连接到Apache Kylin,进行数据查询和分析
0. DBeaver概览DBeaver它是一个通用的数据库管理工具和 SQL 客户端,支持 MySQL, PostgreSQL, Oracle, DB2, MSSQL, Sybase, Mimer, HSQLDB, Derby, 以及其他兼容 JDBC 的数据库。DBeaver 提供一个图形界面用来查看数据库结构、执行SQL查询和脚本,浏览和导出数据,处理BLOB/CLOB 数据,修改数据库结...原创 2020-04-09 18:02:07 · 1442 阅读 · 0 评论 -
Windows任务管理器的打开方式
很多情况下当需要快速启动Windows任务管理器查看应用程序、进程、服务、性能、联网等情况时,并在Windows使用出现卡顿(或CPU占用过高、或内存消耗过大)时结束任务或进程时,可以使用一下方法打开Windows任务管理器进行任务处理。1. 快捷方式打开方法:三键组合:Ctrl+Shift+Esc ,这种方式最简便快捷;2. cmd中打开这种方式一般当你在远程一台Windows主机或...原创 2020-04-07 15:12:20 · 2449 阅读 · 0 评论 -
Apache Kafka集群管理工具CMAK(Cluster Manager for Apache Kafka)从安装启动到配置使用
博文目录0. 关于CMAK1. 安装部署1.1 安装要求1.1.1 Java JDK安装配置1.1.2 安装Scala程序构建工具Sbt1.1.3 CDH添加Kafka服务至集群步骤1.2 部署CMAK1.2.1 从源码安装1.2.2 Releases安装1.2.3 部署配置参考2. 启动服务0. 关于CMAKCluster Manager for Apache Kafka是雅虎开源应用于Ka...原创 2020-04-03 18:03:15 · 3732 阅读 · 1 评论 -
Oracle 锁表相关查询与处理
博文目录Oracle 锁表相关查询与处理以下几个为相关表查看被锁的表查看那个用户那个进程照成死锁查看连接的进程查出锁定表的sid, serial#,os_user_name, machine_name, terminal,锁的type,mode杀掉进程 sid,serial#锁表,根据用户名和表名查出锁表的相关sid号每条代表的是 被锁的 和 锁人的 一目了然 可以看见是什么sql_text 导...原创 2020-03-27 15:20:49 · 201 阅读 · 0 评论 -
BO(Business Objects)基础简介
BO是什么Business Objects是一种OLAP工具,使用户可以方便地存取数据库,分析数据、并生成报表。它通过 Universe 来生成可运行的 Query,并生成报表。即使对数据库和SQL语法没有深入了解的用户,也可以通过Universe,进行报表分析等操作。BO的特色不同的数据源;自由、灵活的数据编辑;美观的报表展示(特点是WebI)定时Mail发送Report等。...原创 2020-03-27 14:08:53 · 3364 阅读 · 0 评论 -
Oracle 数据导出方案
博文目录Oracle 数据获取方式分析Oracle Data PumpOracle EXPDP 导出数据EXPDP资料备份图解第一步,方法/步骤 在“运行”里打开`cmd`第二步,EXPDP备份命令Oracle EXPDP 监控Oracle EXPDP Job操作Oracle IMPDP 导入数据Oracle 数据获取方式分析获取方式实现方法影响分析Data Purge ...原创 2020-03-27 12:12:07 · 583 阅读 · 0 评论 -
zabbix是什么?主要用来做啥?
zabbix(音同 zæbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP,zabbix...原创 2020-03-27 11:12:51 · 6639 阅读 · 0 评论 -
Cloudera Manager是啥?主要是干啥的?
hadoop是一个开源项目,所以很多公司在这个基础进行商业化。Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。...原创 2020-03-27 11:09:09 · 1103 阅读 · 0 评论 -
About Hadoop 集群管理维护
Hadoop Test1、安全模式查看namenode是否处于安全模式下[root@bdpnamenodemaster ~]# hadoop dfsadmin -safemode getDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for ...原创 2020-03-25 17:33:24 · 351 阅读 · 0 评论 -
About 一行Python代码搞定局域网内文件共享与传输
一行Python代码搞定局域网内文件共享与传输前提:环境中有Python安装,并配置环境变量。1、共享目录:Windows下,在要共享文件目录下,shift+鼠标右键,在此处打开命令行窗口(CMD);2、服务开启:python3 -m http.server 9527 #后面是端口号,端口号随意; python2 中可以使用 python -m SimpleHTTPServer 9527...原创 2020-03-25 16:06:53 · 3416 阅读 · 0 评论 -
About IPython的使用方法和特点
ipython :一种交互式计算和开发环境安装ipython:D:\Software\Software Install\Python\Python36>pip install ipython启动ipython:D:\Software\Software Install\Python\Python36\Scripts>ipythonTab 键自动完成提示:在IPyth...原创 2020-03-25 09:26:17 · 362 阅读 · 0 评论 -
About Git 命令(dpkg)在日常开发中使用总结,以及优秀的配套开发工具的相关介绍
Git-dpkg速查表Git日常开发使用中的总结1、本地Git环境初始化PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/Panda$ git config --global user.name "chenqi"PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/Panda$ git config --global user.e...原创 2020-03-24 15:37:41 · 636 阅读 · 0 评论 -
GitLab 安装,看这篇教程就够了
GitLab 安装教程GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。GitLab 版本分ee与ce : ee指企业版, ce是社区版GitLab在线安装GitLab InstallationGitLab线下安装GitLab下载rpmgitlab’s reposGitLab安装$ rpm -ivh gi...原创 2020-03-24 12:10:45 · 321 阅读 · 0 评论 -
About Windows下清理一些系统垃圾文件的bat脚本
Windows下清理一些系统垃圾文件的bat脚本:@echo offrem Windows垃圾清理.echo 正在清理系统垃圾文件,请稍等......del /f /s /q %systemdrive%\*.tmpdel /f /s /q %systemdrive%\*._mpdel /f /s /q %systemdrive%\*.logdel /f /s /q %systemdr...原创 2020-03-24 10:51:31 · 201 阅读 · 0 评论 -
About MarkDown基本语法
MarkDown基本语法Makedown效果 + ( MarkDown语法 )1.标题一级标题 ( # 一级标题 )二级标题 ( ## 二级标题 )三级标题 ( ### 三级标题 )以此类推(# 与文字之间有空格) ( #### 以此类推(# 与文字之间有空格))2.分割线3个*号 ( *** )或者3个-号 ( — )3.块引用块引用 ( > ...原创 2020-03-24 10:01:49 · 262 阅读 · 0 评论 -
About Git从本地资源库提交到远程资源库的简单方案脚本(.sh&.bat)
Git从本地资源库提交到远程资源库的简单方案脚本#!/bin/bash#本地资源库路径LocalRepositories="/d/CCPD-G8.6/Panda" cd $LocalRepositoriesgit status -sread -r -p "继续提交? [Y/N] " input1case $input1 in [yY][eE][sS]|[yY]) ech...原创 2020-03-24 09:40:30 · 140 阅读 · 0 评论 -
About MySQL 5.6 Install for Windows
MySQL5.6安装步骤1.下载MySQL Community Server5.6.372.解压MySQL压缩包将以下载的MySQL压缩包解压到自定义目录下。例如 D:\Program Files\mysql-5.6.37-winx643.添加环境变量我的电脑—属性—高级—环境变量1)变量名:MYSQL_HOME变量值:D:\Program Files\mysql-5.6.37-w...原创 2020-03-23 12:12:36 · 162 阅读 · 0 评论 -
Python Connect OracleDB
Python连接Oracle数据库原文链接:https://blog.csdn.net/xinyuzxx/article/details/81703625cx_Oraclecx_Oracle模块是Python连接Oracle数据库的模块,在Python中,如果要连接Oracle,必须先安装cx_Oracle模块。cx_Oracle的下载地址:https://pypi.python.org...原创 2020-03-23 11:33:03 · 561 阅读 · 0 评论 -
Python Connect MysqlDB
prepare:install mysql-connector-python:# pip install mysql-connector-python --allow-external mysql-connector-python# pip install mysql-connector#!/usr/bin/env python3# -*- coding: utf-8 -*-impor...原创 2020-03-23 11:21:56 · 164 阅读 · 0 评论 -
About 安装 IPython
About pip1、列出已安装的包pip list2、查看指定的安装包信息pip show packagenamepip show jupyter3、检测更新pip list --outdated4、升级安装包pip install --upgrade packagename5、卸载安装包pip uninstall packagename6、安装包pip insatl...原创 2020-03-23 11:13:09 · 197 阅读 · 0 评论 -
About Sublime Text 快捷键列表
快捷键列表(Shortcuts Cheatsheet)通用(General)↑↓←→:上下左右移动光标,注意不是不是KJHL!Alt:调出菜单Ctrl + Shift + P:调出命令板(Command Palette)Ctrl + `:调出控制台编辑(Editing)Ctrl + Enter:在当前行下面新增一行然后跳至该行Ctrl + Shift + Enter:在当前行上面增...原创 2020-03-23 10:56:21 · 101 阅读 · 0 评论