andyguan01_2-CSDN博客

翻译（翻译）【机器学习微课程系列】

【机器学习微课程系列】1.1-模型是如何工作的

2019-03-21 11:13:11 173

在CeontOS6.9安装JDK1.8：https://blog.csdn.net/andyguan01_2/article/details/86701213在CentOS6.9搭建Hadoop2.6.5集群：https://blog.csdn.net/andyguan01_2/article/details/86595985在CentOS6.9搭建Spark2.4.0集群：https://b...

2019-01-30 18:07:11 485

原创 MySQL创建用户并授权REPLICATION CLIENT和REPLICATION SLAVE

一、创建用户CREATE USER ‘test‘@‘%‘ IDENTIFIED BY ‘test‘;FLUSH PRIVILEGES;二、授权REPLICATION CLIENT：授予此权限，复制用户可以使用 SHOW MASTER STATUS, SHOW SLAVE STATUS和 SHOW BINARY LOGS来确定复制状态。REPLICATION SLAVE：授予此权限，复制才能真正工作。一般复制账号需要以上两个权限。GRANT REPLICATION CLIEN..

2020-06-28 19:07:58 12879

原创 sqlserver统计所有表记录数

CREATE PROCEDURE [dbo].[StaticTableCount]ASBEGINCREATE TABLE #temp (TableName VARCHAR (255), RowCnt INT)EXEC sp_MSforeachtable 'INSERT INTO #temp SELECT ''?'', COUNT(*) FROM ?'SELECT TableName, RowCnt FROM #temp ORDER BY RowCnt descDROP TABLE #temp

2020-06-16 20:34:07 871

原创 linux6.8的yum源配置

vim /etc/yum.repos.d/local.repo填写以下内容（根据实际情况调整）：[base]name=Basebaseurl=ftp://IP地址/SETUP/OS/LINUX/RHEL_6.8_x86_64/Serverenabled=1gpgcheck=1gpgkey=ftp://IP地址/SETUP/OS/LINUX/RHEL_6.8_x86_64/RPM-GPGKEY-redhat-release完毕。...

2020-06-12 18:38:29 625

原创在linux6.8安装telnet服务

1、检查telnet-server和telnet的rpm包是否安装rpm -qa |grep telnet2、查看yum源yum list|grep telnettelnet.x86_64 1:0.17-48.el6 @basetelnet-server.x86_64 1:0.17-48.el6 @base3、安装telnet-server和telnetyum -y installtelnet-server.x86_...

2020-06-12 18:34:08 616

原创 linux防火墙firewalld常用操作

一、防火墙的开启、关闭、禁用命令1、设置开机启用防火墙：systemctl enable firewalld.service2、设置开机禁用防火墙：systemctl disable firewalld.service3、检查防火墙状态：systemctl status firewalld出现Active: active (running)且高亮显示则表示是启动状态。出现A...

2020-04-16 19:53:44 426

原创 oracle12C使用命令行删除数据库

一、软件环境centos7.4，oracle12C容器数据库二、操作步骤（普通数据库和CDB容器数据库均可）1、登录数据库export ORACLE_SID=sidnamesqlplus / as sysdba2、关闭数据库shutdownimmediate3、开启数据库startup mount4、打开会话受限模式alter system e...

2020-04-14 18:16:08 1270

原创在centos7.4用rpm安装kerberos客户端

一、软件环境centos7.4二、安装方法1、下载kerberos客户端所需rpm包在网站https://pkgs.org/搜索以下3个rpm包：libkadm5krb5-libskrb5-workstation（还有个krb5-server包，是服务端需要安装的，本次只安装客户端就不需要）2、安装rpm包rpm -ivhlibkadm5的rpm文...

2020-04-12 19:01:01 4144 2

原创在linux挂载另一台服务器的磁盘

例如要在192.168.1.1的目录/data1挂载192.168.1.2上面的/data。首先配置192.168.1.2，编辑/etc/exports，加入：/data 192.168.1.1(rw) 然后启动nfs服务:/etc/init.d/nfs start再到192.168.1.1上挂载：mount 192.168.1.2:/data /data1完毕。...

2019-09-24 13:26:49 8139

原创 Oarcle12c修改数据库字符集

将Oracle12c的字符集由AL32UTF8改为ZHS16GBK。1、登录数据库：sqlplus / as sysdba 2、修改数据库参数：shutdown immediate; startup mount;ALTER SYSTEM ENABLE RESTRICTED SESSION; ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0; ALTE...

2019-09-23 10:19:52 295

原创 Window下JDK11安装JRE

JDK11没有直接的jre，要选择jre模块安装。打开命令提示符，进入%JAVA_HOME%目录（例如D:\JAVA\JDK11），执行命令：bin\jlink.exe --module-path jmods --add-modules java.desktop --output jre会在本目录下生成jre文件夹。完毕。...

2019-09-16 11:33:35 872

原创在Windows Server 2012R2离线安装.net framework3.5

一、软件环境Windows Server 2012R2二、安装方法1、下载以下压缩文件，解压后传到Windows Server 2012R2，例如D:\软件安装包\sxs链接：https://pan.baidu.com/s/1jjUhSObNfWo69ct-S8Bjlg提取码：8uba2、打开“控制面板->所有控制面板项->程序和功能->启用或关闭Windows功能”...

2019-09-10 14:29:08 19321 6

原创 linux免密登录问题：Authentication refused:bad ownership or modes for direcory /home/oracle

一、问题描述在两台机器做好免密登录设置后，在一台机器ssh登录另一台还是要输入密码，检查/var/log/secure，里面提示：Authentication refused:bad ownership or modes for direcory /home/oracle二、问题原因检查目录/home/oracle的权限，发现owner是root:root（正常应该为oracle:oin...

2019-09-09 13:29:32 2280

原创在windows下用python连接sqlserver和oracle

一、环境windows server 2012，python3.7二、python连sqlserver1. 安装pymssql模块1.1 下载pymssql的whl文件在浏览器打开https://pypi.org/project/pymssql/#files，选择合适的版本下载：1.2 安装pymssql执行以下命令安装：pip install pymssql-2.1.4-cp3...

2019-08-30 09:56:31 519

转载 kubernetes和Docker关系简单说明

最近项目用到kubernetes（以下简称k8s，k和s之间有8个字母)。虽然之前也有简单使用过，但最近发现k8s概念较多，命令也有些不够用了，故想借此机会写点东西，更全面认识并使用k8s。本篇文章目的：让你更全面了解k8s概念，以及学到在工作中常用的操作。整体更偏向于原理和应用。在正式开始k8s之前，我们先看看k8s和Docker的关系，分别从虚拟化角度、部署方式角度叙述why use容器，话不...

2019-07-23 14:27:25 6979

原创执行anaconda中的pip命令报错：pip is configured with locations that require TLS/SSL

在win10上安装了anaconda4.6.11后，执行pip命令报错：pip is configured with locations that require TLS/SSL解决方法：需要在环境变量path中加入以下项：D:\Anaconda3D:\Anaconda3\ScriptsD:\Anaconda3\Library\bin 我只加了前面两项，最后一项没加，所以报错。加上后...

2019-07-17 09:49:34 1164 2

原创在linux使用vim将光标移动到文件内容的某一行某一列

先用vim打开文件，然后：1、vim用数字+G来移动行，比如你要移动到12行，先敲数字12，最后敲G，光标就会移动到12行。2、vim用数字+l（小写的L）来移动列，先按数字0将光标移动到行首，然后敲数字，最后敲l，光标就会移动那么多格。比如你要移到第10列，那就是9l。完毕。...

2019-06-05 15:06:07 11016

原创 Linux下Shell脚本字符串单引号、双引号、反引号、反斜杠的作用和区别

一、单引号str='this is a string'单引号字符串的限制：单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的；单引号字串中不能出现单引号（对单引号使用转义符后也不行）。二、双引号your_name='qinjx'str="Hello, I know your are \"$your_name\"! \n"双引号的优点：双引号里可以有变量双引号里可以...

2019-06-05 14:02:05 2627

原创深入理解 Hive 分区分桶（Inceptor）

为何分区分桶我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的...

2019-06-03 12:40:48 1534

原创采用source和sh执行shell脚本的区别

source script.sh：在脚本运行结束后，脚本中的变量在当前环境仍会被保留。sh script.sh：在当前环境启动一个子进程运行脚本, 脚本中的变量会在脚本运行结束时释放掉。...

2019-05-31 13:40:03 1238

原创基于大数据的数据仓库-数据仓库建模基本理论

（内容整理自网络学习视频）一、数仓建模的目标访问性能：能够快速查询所需的数据，减少数据I/O。数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。使用效率：改善用户应用体验，提高使用数据的效率。数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一致的数据访问平台。所以，大数据的数仓建模需要通过建模的方法更好的组织、存储...

2019-05-16 14:51:00 8215 1

原创基于大数据的数据仓库

（内容整理自大讲台学习视频）1、数据仓库的概念和ER实体模型2、实体关系（ER）建模理论及应用场景3、Data Vault建模理论及应用场景4、大数据体系技术架构以及Hadoop、Spark基础架构5、hive体系结构与优化6、hive优化7、大数据仓库周边技术-sqoop、flume等8、数据采集与同步9、数据仓库维度建模10、实战案例-偏业务性行业数据仓库设计11、偏流量...

2019-05-15 16:37:46 549

原创基于大数据的数据仓库-数据仓库的概念

一、什么是数据仓库1、什么是数据库？a）数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。b）数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。2、什么是数据仓库？定义：面向主题的、集成的、相对稳定的、反映历史变化...

2019-05-15 16:36:40 8309

原创使用lrzsz+SecureCRT实现linux服务器和本地文件之间的上传和下载

在SecureCRT界面顶部选择菜单“Options->Session Options”，然后在打开的界面选择“Terminal->X/Y/Zmodem”：“Upload”和“Download”分别为本地文件系统的上传和下载目录，可按实际需要修改。1、服务器上传文件至本地执行命令：sz filename如要上传多个文件：sz filename1 filename2上...

2019-05-15 11:35:34 296

原创使用python截取excel指定区域生成图片

需求：使用python截取excel指定区域生成图片。脚本：python脚本如下：（在python3.6环境运行通过）# -*- coding: utf-8 -*-import xlsxwriterfrom win32com.client import Dispatch, DispatchEximport pythoncomfrom PIL import ImageGrab, Im...

2019-05-14 14:04:37 16557 24

原创 win10定时任务问题解决：任务尚未运行（0x41303）

在win10创建定时任务后，一直是“任务尚未运行（0x41303）”的状态。这个定时任务是执行一个批处理脚本，最后找到原因，是由于本地安全设置里面，执行批处理脚本的用户不在权限范围内。通过以下方法解决：1、打开“本地安全策略->安全设置->本地策略->用户权限分配”：2、在右侧列表双击“作为批处理作业登录”：点击“添加用户或组”按钮，将执行批处理作业的用户添加进去。3...

2019-05-10 14:50:23 33549 1

原创使用pandas更新DataFrame某一列（值位于另一个DataFrame）

利用pandas更新DataFrame某一列（值位于另一个DataFrame），方法如下：import pandas as pddf1=pd.DataFrame({'id':[1,2,3],'name':['Andy1','Jacky1','Bruce1']})df2=pd.DataFrame({'id':[1,2],'name':['Andy2','Jacky2']})s = df2...

2019-05-09 14:02:29 11792 4

原创使用kettle批量同步表

一、需求利用kettle将源库多张表批量同步到目标库。二、设计整体设计流程如下：1、在数据开始同步前，在目标库中的日志表记录数据同步开始时间；2、将所有需要同步的表名放在目标库的一张表中，在kettle中读取这些表名；3、循环读取每一个表名，进行表数据同步。整个job如下：下面再详细看看job里的每个组件：1、trans_begin组件：General->Transfo...

2019-05-08 15:46:48 7225 10

原创 linux下crontab被清空后的恢复

crontab如果意外被清空，可从crontab日志里面找出历史执行记录，进行恢复。分以下两步：1、查看crontab历史执行记录crontab运行日志存放在目录/var/log下面，最新的日志在cron文件，还有其他历史日志在以cron-开头的其他文件：可将所有crontab日志合并后输出，以查看crontab的所有历史执行记录。例如，我要查询root用户下crontab执行记录，可运行...

2019-05-08 10:39:01 5456

原创服务器被植入挖矿木马程序纪实（第二次）

今天这篇文章的标题是“服务器被植入挖矿木马程序纪实（第二次）”，为什么加了个“第二次”，因为之前已经发生过一次（可点此查看：服务器被植入挖矿木马程序纪实）。当时只是解决了问题，没有找到根本原因，这次又碰到了，情形和上次略有不同，好在最终找到了原因所在，下面细细说来。一、发现问题首先是接到运维同事告知，说服务器有频繁的异常请求，导致端口访问被服务商阻断：二、解决问题有了上次的经验，首先查看...

2019-05-07 17:22:49 6434 2

原创 crontab报错：errors in crontab file, can't install

在linux下修改crontab，新增了一个定时任务，保存后报以下错误：errors in crontab file, can’t install后来检查发现是新增的定时任务格式不对，在每天8:30执行某个sh脚本的crontab命令本来应该是这样：30 8 * * * sh脚本结果写成了：30 8 * * * * sh脚本命令格式不对，所以报了上面的错误。完毕。...

2019-05-07 11:44:48 27492

原创 Hadoop中namenode的安全模式

在启动namenode时，会首先进入安全模式（safemode）。在safemode中，HDFS是不被允许进行操作的，这段时间，HDFS会检查datanode上面的块是否被损坏，若块丢失或被损坏，会修复被损坏的块，但如果损坏的太多，则namenode会一直处在安全模式，从而导致HDFS不能操作。一般遇到这种问题，等待片刻便会自动退出安全模式，但凡事总有不一般的时候，当块损坏的太多而无法修复时，n...

2019-04-30 16:17:01 5648 1

原创 HDFS的数据结构

作为管理员，深入了解namenode、secondary namenode和datanode等HDFS组件如何在磁盘上组织永久性数据非常重要。洞悉各文件的用法有助于进行故障诊断和故障检出。一、namenode的目录结构运行中的namenode有如下目录结果：${dfs.namenode.name.dir}/|–current| |–VERSION| |–edits_00000000...

2019-04-30 14:33:23 964

原创 RAID技术原理

一、概述1988 年，美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redundant Array of Inexpensive Disks” 中提出了 RAID 概念，即廉价冗余磁盘阵列（ Redundant Array of Inexpensive Disks ）。由于当时大容量磁盘比较昂贵， RAID 的基本思想是将多个容量较小、相对廉价...

2019-04-28 14:26:21 7787

原创 MapReduce2的作业调优

MapReduce2的作业调优检查表：范围最佳实践更多参考信息mapper的数量mapper需要运行多长时间？如果平均只运行几秒钟，则可以看是否能用更少mapper运行更长的时间，通常是一分钟左右。时间长度取决于使用的输入格式MapReduce的输入分片与记录reducer的数量检查使用的reducer数目是不是超过1个。根据经验，Reduce任务应运行5分钟左...

2019-04-26 10:25:41 151

原创 MapReduce的输入分片与记录

一个输入分片（split）就是一个由单个map操作来处理的输入块。每一个map操作只处理一个输入分片。每个分片被划分为若干个记录，每条记录就是一个键-值对，map一个接一个地处理记录。输入分片和记录都是逻辑概念，不必将它们对应到文件，尽管其常见形式都是文件。在数据库场景中，一个输入分片可以对应于一个表上的若干行，而一条记录对应到一行（如同DBInputFormat，这种输入格式用于从关系型数据库读...

2019-04-26 10:20:58 390

原创在Word中输入符号的快捷方式

例如，要在word中输入“方框里面打钩”的符号，也就是☑，可按以下操作：1、输入数字2611；2、选定数字2611，同时按下Alt+X键，就会出现☑符号。原理：在选定数字2611的基础上按下Alt+X键，表示将十六进制Unicode字符代码2611转换为对应的Unicode 字符。说明：也可以点击word界面上方菜单栏的“插入->符号”，在以下界面选择需要的符号：完毕。...

2019-04-24 14:06:02 2085

原创在MapReduce中使用压缩

要想压缩MapReduce作业的输出，应在作业配置过程中将mapreduce.output.fileoutputformat.compress属性设为true，将mapreduce.output.fileoutputformat.compress.codec属性设置为打算使用的压缩codec的类名。另一种方案是在FileOutputFormat中使用更便捷的方法设置这些属性，如以下范例，对查找最高...

2019-04-23 18:31:49 1547

原创 MapReduce中的combiner函数

集群上的可用带宽限制了MapReduce作业的数量，因此尽量避免map和reduce任务之间的数据传输是有利的。Hadoop允许针对map任务的输出指定一个combiner（就像mapper和reducer一样），combiner函数的输出作为reduce函数的输入。由于combiner属于优化方案，所以Hadoop无法确定要对一个指定的map任务输出记录调用多少次combiner（如果需要）。换...

2019-04-23 17:50:45 683