2019年05月_andyguan01_2

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创采用source和sh执行shell脚本的区别

source script.sh：在脚本运行结束后，脚本中的变量在当前环境仍会被保留。sh script.sh：在当前环境启动一个子进程运行脚本, 脚本中的变量会在脚本运行结束时释放掉。...

2019-05-31 13:40:03 1239

原创基于大数据的数据仓库-数据仓库建模基本理论

（内容整理自网络学习视频）一、数仓建模的目标访问性能：能够快速查询所需的数据，减少数据I/O。数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。使用效率：改善用户应用体验，提高使用数据的效率。数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一致的数据访问平台。所以，大数据的数仓建模需要通过建模的方法更好的组织、存储...

2019-05-16 14:51:00 8216 1

原创基于大数据的数据仓库

（内容整理自大讲台学习视频）1、数据仓库的概念和ER实体模型2、实体关系（ER）建模理论及应用场景3、Data Vault建模理论及应用场景4、大数据体系技术架构以及Hadoop、Spark基础架构5、hive体系结构与优化6、hive优化7、大数据仓库周边技术-sqoop、flume等8、数据采集与同步9、数据仓库维度建模10、实战案例-偏业务性行业数据仓库设计11、偏流量...

2019-05-15 16:37:46 550

原创基于大数据的数据仓库-数据仓库的概念

一、什么是数据仓库1、什么是数据库？a）数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。b）数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。2、什么是数据仓库？定义：面向主题的、集成的、相对稳定的、反映历史变化...

2019-05-15 16:36:40 8314

原创使用lrzsz+SecureCRT实现linux服务器和本地文件之间的上传和下载

在SecureCRT界面顶部选择菜单“Options->Session Options”，然后在打开的界面选择“Terminal->X/Y/Zmodem”：“Upload”和“Download”分别为本地文件系统的上传和下载目录，可按实际需要修改。1、服务器上传文件至本地执行命令：sz filename如要上传多个文件：sz filename1 filename2上...

2019-05-15 11:35:34 297

原创使用python截取excel指定区域生成图片

需求：使用python截取excel指定区域生成图片。脚本：python脚本如下：（在python3.6环境运行通过）# -*- coding: utf-8 -*-import xlsxwriterfrom win32com.client import Dispatch, DispatchEximport pythoncomfrom PIL import ImageGrab, Im...

2019-05-14 14:04:37 16572 24

原创 win10定时任务问题解决：任务尚未运行（0x41303）

在win10创建定时任务后，一直是“任务尚未运行（0x41303）”的状态。这个定时任务是执行一个批处理脚本，最后找到原因，是由于本地安全设置里面，执行批处理脚本的用户不在权限范围内。通过以下方法解决：1、打开“本地安全策略->安全设置->本地策略->用户权限分配”：2、在右侧列表双击“作为批处理作业登录”：点击“添加用户或组”按钮，将执行批处理作业的用户添加进去。3...

2019-05-10 14:50:23 33587 1

原创使用pandas更新DataFrame某一列（值位于另一个DataFrame）

利用pandas更新DataFrame某一列（值位于另一个DataFrame），方法如下：import pandas as pddf1=pd.DataFrame({'id':[1,2,3],'name':['Andy1','Jacky1','Bruce1']})df2=pd.DataFrame({'id':[1,2],'name':['Andy2','Jacky2']})s = df2...

2019-05-09 14:02:29 11798 4

原创使用kettle批量同步表

一、需求利用kettle将源库多张表批量同步到目标库。二、设计整体设计流程如下：1、在数据开始同步前，在目标库中的日志表记录数据同步开始时间；2、将所有需要同步的表名放在目标库的一张表中，在kettle中读取这些表名；3、循环读取每一个表名，进行表数据同步。整个job如下：下面再详细看看job里的每个组件：1、trans_begin组件：General->Transfo...

2019-05-08 15:46:48 7243 10

原创 linux下crontab被清空后的恢复

crontab如果意外被清空，可从crontab日志里面找出历史执行记录，进行恢复。分以下两步：1、查看crontab历史执行记录crontab运行日志存放在目录/var/log下面，最新的日志在cron文件，还有其他历史日志在以cron-开头的其他文件：可将所有crontab日志合并后输出，以查看crontab的所有历史执行记录。例如，我要查询root用户下crontab执行记录，可运行...

2019-05-08 10:39:01 5457

原创服务器被植入挖矿木马程序纪实（第二次）

今天这篇文章的标题是“服务器被植入挖矿木马程序纪实（第二次）”，为什么加了个“第二次”，因为之前已经发生过一次（可点此查看：服务器被植入挖矿木马程序纪实）。当时只是解决了问题，没有找到根本原因，这次又碰到了，情形和上次略有不同，好在最终找到了原因所在，下面细细说来。一、发现问题首先是接到运维同事告知，说服务器有频繁的异常请求，导致端口访问被服务商阻断：二、解决问题有了上次的经验，首先查看...

2019-05-07 17:22:49 6434 2

原创 crontab报错：errors in crontab file, can't install

在linux下修改crontab，新增了一个定时任务，保存后报以下错误：errors in crontab file, can’t install后来检查发现是新增的定时任务格式不对，在每天8:30执行某个sh脚本的crontab命令本来应该是这样：30 8 * * * sh脚本结果写成了：30 8 * * * * sh脚本命令格式不对，所以报了上面的错误。完毕。...

2019-05-07 11:44:48 27523