- 博客(42)
- 收藏
- 关注
RSS订阅
原创 专栏阅读说明
1、工具使用 git github eclipse jupyter notebook2、机器学习3、深度学习 cnn、rnn、深层网络设计、 tensorflow、4、数学 线性代数、概率论、信息熵5、大数据 hadoop、hdfs、mapreduce、yarn、bigdata、flume、sqoo...
2018-07-17 14:39:51
245
转载 Powershell 之批量获取文件大小的实现代码
核心代码$startFolder = "D:\"$colItems = (Get-ChildItem $startFolder | Where-Object {$_.PSIsContainer -eq $True} | Sort-Object)foreach ($i in $colItems){ $subFolderItems = (Get-ChildItem $i.FullName ...
2018-08-16 09:17:54
2162
原创 机器学习基础
向量向量的模向量的范数常见的向量及类型矩阵和张量矩阵的基本运算常见矩阵导数向量求导导数运算法则导数法则常用函数及其导数Logistic 函数Softmax 函数向量标量（Scalar） 实数向量 (Vector) n个实数组成的有序数组，称为n维向量。如果没有特别说明，一个n维向量一般表示列向量，既大小为nx1的矩...
2018-08-13 17:34:09
203
原创 集群安装（一）Cloudera Manager离线部署CDH
Cloudera Manager离线部署CDH文档一、说明二、系统环境搭建1、网络配置(所有节点)2、SSH免密码登录3、关闭防火墙4、关闭SELINUX5、安装JDK6、设置NTP7、安装配置MySql8、下载依赖包三、Cloudera Manager Server&Agent安装1、安装Cloudera Manager Server&Agent...
2018-08-10 16:37:42
925
转载 集群规划（一）角色分配
1.文档编写目的本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量，真实要部署的哪些服务，硬件资源，配置，以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时，CM会根据主机的可用资源，自动的分配角色到各台主机，边缘节点除外。你可以在向导中使用”自定义角色分配 - Customize Role Ass...
2018-08-10 14:39:47
4159
转载 大数据专栏阅读说明
hadoophdfsmapreduceyarn zokkeepersqoopsparkcloudera architecture Lambdakappa
2018-08-09 10:58:00
241
转载 大数据面试题及答案
Hadoop 相关试题MapTask并行机度是由什么决定的？ 由切片数量决定的。2、MR是干什么的？ MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群上运行。3、MR的实例进程： driver(mr的job提交客户端) MRAppMaster MapTask ReduceTa...
2018-07-17 16:27:15
25023
原创 欢迎使用CSDN-markdown编辑器aa
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-07-17 13:34:43
197
转载 centos 7下安装pycharm专业版
文件准备流程参考文件准备流程下载pycharm的linux版本的软件包，下载地址: http://www.jetbrains.com/pycharm/download/#section=linux解压$ tar -xf pycharm-professional-2017.1.4.tar.gz进入解压后的文件夹下的bin目录，执行sudo sh pycharm.sh在安装过程中选择激活码激活 注册码...
2018-03-08 14:28:41
1111
转载 深度学习入门必须理解这25个概念
神经网络基础1）神经元（Neuron）——就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。 2）权重（Weights）——当输入进入神经元时，它...
2018-03-06 15:28:07
194
原创 python常用操作总结
1、list 集合操作A = ["a","b","c"]B = ["a","c","d","e"]C = [i for i in A if i in B] # A\B的交集print(C)D = [i for i in B if i not in A] #B中去除交集部分print(D)
2018-02-26 14:29:20
156
转载 Centos7安装chrome浏览器
1. 配置yum源在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repocd /ect/yum.repos.d/vim google-chrome.repo写入如下内容:[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$basear...
2018-02-23 12:20:36
312
原创 VMware NAT方式创建虚拟机网络并配置固定IP
1、本机共享网络给虚拟机VMnet8网卡：本机网卡右键“属性”-->“共享”-->勾选“允许其他网络用户通过此计算机的Internet连接来连接(N)”-->选择虚拟机网卡VMnet82、编辑虚拟机网卡VMnet8属性：VMnet8网卡右键“属性”-->双击“Internet协议版本4(TCP/IPv4)”-->IP地址和DNS地址使用图中配置3、编辑VMware W...
2018-02-09 11:27:05
367
原创 mysql常用操作
查看MYSQL数据库中所有用户SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;给操作IP复权insert into mysql.user(Host,User,Password,ssl_cipher,x509_issuer,x509_subject) values("1
2018-01-23 15:33:40
135
原创 Cloudera Manager安装_搭建CDH集群
nanode 启动服务 rpm -ivh cloudera-manager-daemons-5.13.1-1.cm5131.p0.2.el7.x86_64.rpmrpm -ivh cloudera-manager-server-5.13.1-1.cm5131.p0.2.el7.x86_64.rpmrpm -ivh cloudera-manager-server-db-2-5.13
2018-01-19 17:07:02
745
原创 linux 下安装oracle 12c
一、下载地址http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html二、系统配置准备1、创建Oracle用户和用户组groupadd dbagroupadd oinstall useradd -g oinstall -G dba oracleid or
2018-01-16 17:28:12
277
原创 LINUX查看硬件配置命令
一、如何查看服务器的CPU判断依据：1.具有相同core id的cpu是同一个core的超线程。（Physical id and core id are not necessarily consecutive but they are unique. Any cpu with the same core id are hyperthreads in the same core.
2018-01-16 16:34:01
312
原创 anaconda切换python版本
1、创建一个名为python2.7的环境，指定Python版本是2.7（不用管是2.7.x，conda会为我们自动寻找2.7.x中的最新版本） ./conda create --name python2.7 python=2.72、安装好后，使用activate激活某个环境source activate python2.7
2018-01-11 18:01:55
2686
原创 linux 下安装anaconda
1、解压Anaconda3-4.2.0.zipunzip Anaconda3-4.2.0.zip2、启动jupyter/home/qmjkdw/soft/Anaconda3-4.2.0/bi./jupyter notebook --ip=0.0.0.0 --port=8866 --notebook-dir=/home/qmjkdw/workspaces/jupyter/3、挂在到
2018-01-11 17:31:59
256
原创 python 操作hive
import pyhs2import sysdefault_encoding = 'utf-8'if sys.getdefaultencoding() != default_encoding: reload(sys) sys.setdefaultencoding(default_encoding)import pyhs2import sysdefault_encodin
2018-01-11 15:33:46
1040
原创 hive锁表解决
查询是否锁表 show locks ;发现表(fact_hz_zlfa)被锁,解决方案：关闭锁机制：set hive.support.concurrency=false; 默认为true但被锁的表还未解锁对表解锁unlock table fact_hz_zlfa ;删表新建即可。
2017-12-25 15:58:53
12982
1
原创 Hive计算引擎切换
Hive计算引擎切换1、mapreduce计算引擎(默认)set hive.execution.engine=mr; 2、spark计算引擎set hive.execution.engine=spark; 重启hive相关服务即可
2017-12-22 15:05:23
1645
原创 hive建表乱码
1、修改hive 元数据 mysql中COLUMNS_V2 表的编码格式alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;2、插入对应的编码alter table dwd_qmjk.mid_hz_jbxx CHANGE COLUMN id id int comment '编码';
2017-12-21 17:27:14
2015
原创 在HDFS上配置alluxio
下载jdk1.8 （注意：下载jdk 时需要复权下载）wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u152-b16/aa0333dd3019491
2017-12-06 14:41:55
491
原创 shell批量导出hive表结构
#!/bin/bashrm -rf databases.txthive -e " show databases; exit ;" > databases#sleep(2)rm -rf ./tables/*for database in `cat databases`do { hive -e " use $database ; show tables ; exit ;" > .
2017-12-01 14:11:07
4839
1
转载 Linux下如何进行SFTP用户权限设置
$ ssh -V 具体实施步骤： 1. 我们需要创建一个用户组，专门用于sftp用户 $ groupadd sftpusers 2. 我们创建一个用户test $ useradd -s /bin/false -G sftpuser test 注意这里我们将test用户的shell设置为/bin/false使他没有登陆shell的权限 3. 编辑 /etc/ssh/sshd_config 找到Sub
2017-11-13 14:28:59
5454
转载 linux下安装maven
linux下安装mavenyum -y install apache-maven这时候可能会报错这时候需要用wget命令去网络上下载资源包wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel
2017-11-08 18:21:50
376
原创 Alluxio安装与配置
一、资源下载下载地址：http://www.alluxio.org/download/二、安装与配置2.1 解压tar xvf alluxio-1.4.0-cdh5-bin.tar.gzcp -r alluxio-1.4.0 /usr/local/ cd /usr/local/alluxio-1.4.02.2 配置Allu
2017-10-26 10:06:15
1118
原创 conda 常见错误
一、conda 安装包出现 PackageNotFoundError: Packages missing in current channels: 如下：解决方案： anaconda search -t conda BeautifulSoupconda install -c https://conda.anaconda.org/conda-for
2017-08-25 12:27:00
3729
转载 更改Anaconda下载源，提高下载速度
使用conda install 包名 安装需要的Python非常方便，但是官方的服务器在国外，因此下载速度很慢，国内清华大学提供了Anaconda的仓库镜像，我们只需要配置Anaconda的配置文件，添加清华的镜像源，然后将其设置为第一搜索渠道即可，参见Anaconda的官方说明：点我查看Anaconda官网关于Configuration file的说明，点我查看Anaconda官网对.con
2017-08-24 19:06:44
890
转载 pip 换源下载
pip install *** 安装Python包，出现Cannot fetch index base URL http://pypi.python.org/simple/错误提示或者直接安装不成功。解决办法1.windows下创建/%user%/pip/pop.ini，并添加以下内容。[global] index-url=http://pypi.douban.com/sim
2017-08-01 19:06:19
594
转载 机器学习
《机器学习&&深度学习》 视频课程资源百度云下载。 林轩田：机器学习基石 链接：http://pan.baidu.com/s/1qXSKZP64 密码：dwie林轩田：機器學習技法 (Machine Learning Techniques)链接：http://pan.baidu.com/s/1i5I0kZj3 密码：zwceandrew Ng视频课程和讲义链接：
2017-07-14 16:40:45
931
转载 ORACLE学习笔记三
这一篇是总结Oracle的数据库管理(database)，重点是其物理存储部分。图在下面，点击放大。 一些SQL命令：手工切换重做日志文件组：SQL> alter system switch logfile;添加联机重做日志文件组：SQL> alter database add logfile group 4 ('/oradata/log4a.log','/
2017-07-04 09:25:45
191
转载 ORACLE笔记二
今天的内容有点多，分成了两篇，这里是比较简单的第一篇，是总结安装、启动和关闭的过程，先上图，点击放大。 一些SQL命令和语句： 建立数据库时加cache子句可以把表同时建立在内存中，读取时优先读取该表：SQL> create table emp1 cache as select * from emp;查看内存中的表：SQL> select table
2017-07-03 15:18:34
172
转载 ORACLE学习笔记一
这是我的Oracle学习笔记系列的第一篇，主要总结了Oracle的体系结构，要学好Oracle，就要先了解Oracle的运行机制和原理。把今天学习的内容整理了一个图，备忘，点击可放大。另外，还有几个语句(sql*plus)：SYS用户登录SQL> / as sysdba;解锁scott用户SQL> alter user scott identified by
2017-07-03 15:16:48
219
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-07-02 13:04:22
232
原创 CDH5.11.1集群卸载
1. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloudera-scm-agent stop[root@slave1 ~]# service clouder
2017-07-02 12:43:49
1540
转载 hive job配置和mapreduce数目控制
开启动态分区：hive.exec.dynamic.partition=true默认值：false描述：是否允许动态分区hive.exec.dynamic.partition.mode=nonstrict默认值：strict描述：strict是避免全分区字段是动态的，必须有至少一个分区字段是指定有值的。读取表的时候可以不指定分区。设置如下参数配置动态分区的使用环境
2016-08-24 15:16:27
1338
转载 JION,LEFT JION RIGHT JION FULL JION 联系与区别
深入了解ORACLE连接：JION,LEFT JION RIGHT JION FULL JION 联系与区别主题 Oracle数据库1、概述 连接是(JOIN) 是根据两个或者多个表之间的列建立关系， 获取所需要的数据，在Oracle数据库中，提供了自连接也称内连接（inner join或者join）,自然连接（natural join），左连接（left join或
2016-03-04 19:17:19
1768
原创 Python学习--基础代码练习
1、Python 定义变量、判断函数、循环# -*- coding: utf-8 -*-__author__ = 'Admin'print('hello python')#定义变量a =3b = 4c =a+bprint(c)#判断语句score = 90if score >= 80 : print("优秀")elif score >=60 : print(
2015-12-30 19:59:40
657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人