- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 mysql命令大全
一、数据库的操作连接数据库mysql -uroot -p ；退出数据库quit/exit/ctrl+d查看所有数据库show databases;查看数据时间select now()查看数据库版本select version创建数据库create database <数据库名> charset=utf8；查看创建数据库的语...
2019-03-10 13:42:15
97
原创 hadoop中Yarn配置
1、etc/hadoop/mapred-site.xml （MapReduce运行在yarn框架上）<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><property><property><name>mapreduce.jobhistory.address&l
2021-04-12 19:11:29
297
原创 hadoop中HDFS 配置
1、解压hadoop包tar -zxv hadoop.tar.gz -C /opt/moudle2、删除不必要的文件进入:/opt/modules/hadoop-2.5.0/share删除 rm -rf ./doc/进入：/opt/modules/hadoop-2.5.0/etc/hadoop删除：rm -rf ./*.cmd （cmd文件是windows下的）3、配置HDFS中JAVA_HOME查看JAVA_HOME环境变量的路径echo $JAVA_HOME
2021-04-12 19:09:45
155
原创 hadoop配置java环境
1、创建我们将要使用的各个目录sudo mkdir /opt/softwaressudo mkdir /opt/moudulessudo mkdir /opt/toolssudo mkdir /opt/datas2、将root用户的目录改变成kfk用户所属的目录sudo chown -R kfk:kfk /opt/*3、将JDK安装包通过工具上传到/opt/softwares目录下4、更改文件的可执行权限chmod u+x /opt/softwares/*
2021-04-12 19:07:16
742
原创 搭建hadoop环境
1、设置IP地址2、创建用户adduser kfkpasswd kfkexit3、文件中设置主机名hostname 主机名程vi /etc/sysconfig/network4、主机名映射vi /etc/hostsip地址 bigdata-pro01.kfk.com bigdata-pro015、关闭防火墙vi /etc/sysconfig/selinux修改 SELINUX=disabled重启6、卸载本身自带的JDKr
2021-04-12 19:05:56
67
原创 分布式离线计算框架—MapReduce和Yarn
MapReduce运行在yarn1、核心思想：分而治之2、现实案例并行计算流程1）分割 2）分割文件(数据文件、程序包)分发到每台机器上 3）每台机器数据计算 4）获取每台机器计算结果 5）合并每台机器计算结果 6）生成数据分析结果文件3、将计算过程分为两个阶段map和reducemap阶段并行处理输入的数据 reduce阶段对map结果进行汇总 shuffle连接map和reduce两个阶段 map的输出——》reduce的输入 map shuffle reduce
2021-04-12 19:01:44
299
原创 hadoop概述
1、hadoop背景google的三篇论文GFS-HDFS、Mapreduce、bigtable-Hbase2、什么是hadoop是一种分析和处理大数据的软件平台，是Apache的一个用Java语言所实现的开源软件的加框，在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。开源的 可靠的 可扩展:机器的增加或者减少不会影响设备正常运行 分布式计算3、解决的问题1) 海量数据的存储——HDFS存海量数据的 动态的添加机器，不会影响正常的设备运行 备份(.
2021-04-12 18:59:27
118
原创 nginx服务器搭建
1、安装准备首先由于nginx的一些模块依赖一些lib库，安装nginx之前，必须安装这些lib库，这些依赖库主要有g++、gcc、openssl-devel、pcre-devel和zlib-devel，执行命令如下：yum install gcc-c++ yum install pcre pcre-devel yum install zlib zlib-devel yum install openssl openssl--devel2、安装nginx2.1 安装之前，检查是否已经安装.
2021-04-12 18:38:13
94
原创 celery——分布式任务队列服务
什么是celery？Celery 是一个用 Python 编写的分布式的任务调度模块，Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统它是一个专注于实时处理的任务队列，同时也支持任务调度。任务队列是一种在线程或机器间分发任务的机制。celery能干什么，为什么用celery呢？celery的原理...
2019-03-14 10:20:19
318
原创 python3知识汇总
1.什么是pythonPython 是一种编程语言，它有对象、模块、线程、异常处理和自动内存管理Python 是一种解释型语言，Python 在代码运行之前不需要解释。Python 是动态类型语言，在声明变量时，不需要说明变量的类型。2.python中的类型有哪些number(数字) string(字符串) dictionary(字典) tuple(元组) list(列表)...
2019-03-09 20:45:45
208
1
原创 mysql创建新用户
1.创建一个为wordpress数据库create database wordpress;2. 创建一个wordpress用户，密码为pwdcreate user wordpress identified by 'pwd';4.为创建的用户开通数据库 “wordpress” 的完全访问权限。grant all privileges on `wordpress`.* ...
2019-03-06 16:54:30
486
原创 查看Linux位数、cpu型号、内存大小、硬盘空间的命令(Ubuntu)
1、查看Linux是多少位数 getconf LONG_BIT2、查看cpu详细信息#cat /proc/cpuinfo查看cpu核心数量#cat /proc/cpuinfo | grep 'cpu cores'| uniq查看cpu型号#cat /proc/cpuinfo | grep 'model name' | uniq...
2018-08-30 11:30:35
5606
原创 用xshell连接ubuntu提示出现了ssh服务器拒绝了密码，请再试一次
方法/步骤安装open ssh： sudo apt-get install openssh-server 启动ssh服务： sudo /etc/init.d/ssh restart 查看ssh服务已启动：ps -e | grep ssh 修改配置文件： sudo vi /etc/ssh/ssh_convfig 修改一下文件，并把注释“#”去掉。 重新ssh服务器：sudo...
2018-08-02 13:06:02
4106
1
sqlmap使用方法
2018-08-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人