- 博客(35)
- 收藏
- 关注
RSS订阅原创 Linux需要掌握的一些命令
链接：http://www.runoob.com/w3cnote/linux-useful-command.html
2018-05-01 15:57:49
254
原创 些许有趣的SQL
1.从MySQL中导出数据库# mysqldump -u root -p 被导出数据库名(例：movie) > 导出文件名(movie.sql)Enter password:2.将*.sql文件导入数据库 首先创建一个数据库MariaDB [(none)]>create database movie; 然后选择该数据库MariaDB [(non
2018-01-17 17:02:16
427
原创 Python爬虫小案例：豆瓣电影TOP250
源码：#!/usr/bin/python3# -*-coding: UTF-8-*-from urllib import requestimport reclass MovieTop250(object): def __init__(self): self.start = 0 self.headers = {'User-Agent':
2017-11-13 16:26:02
2192
原创 Kafka-0.10.1集群的安装和配置
准备1.kafka_2.10-0.10.1.1.tgz2.安装配置好的Zookeeper-3.4.10分布式集群 mini1：192.168.213.133 mini2：192.168.213.134 mini3：192.168.213.135安装1.解压kafka_2.10-0.10.1.1.tgz安装包实现安装# tar -zxvf kafka_2.
2017-11-02 17:34:35
645
原创 Spark SQL DataFrame 小案例
package com.looc.spark.hpeuimport org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.{SparkConf, Spar
2017-11-02 16:31:09
297
原创 Storm-1.1.0集群的安装和配置
准备1.apache-storm-1.1.0.tar.gz2.安装配置好的Zookeeper-3.4.10分布式集群 mini1：192.168.213.133 mini2：192.168.213.134 mini3：192.168.213.135安装1.解压apache-storm-1.1.0.tar.gz安装包实现安装# tar -zxvf apac
2017-10-23 17:47:03
690
原创 Spark-2.1.1集群的安装和配置（基于Hadoop-2.7.3）
准备1.安装配置好的Hadoop-2.7.3分布式集群 namenode： mini1：192.168.213.133 datanode： mini2：192.168.213.134 mini3：192.168.213.1352.安装配置JDK3.配置SSH免密码登陆4.spark-2.1.1-bin-hadoop2.7.tgz安装包安装1.解压spark-2
2017-09-25 16:18:42
1945
原创 Azkaban-2.5.0的安装和配置
Azkaban是由LinkedIn开发的调度工具，可以用于调度Hadoop中的相互依赖的Job。有时候，在hadoop集群中运行的Job是相互依赖的，某些任务需要顺序的执行，这种场景下使用Azkaban能够很好的解决问题。 Azkaban有三个重要的组件构成： 关系型数据库(MySQL) AzkabanWebServer AzkabanExecutorServer 三个
2017-09-01 14:03:09
888
1
原创 Flume-1.7.0的安装和配置
Flume是什么 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0
2017-08-31 19:52:44
623
原创 HDFS Java 客户端开发（开发环境：Windows）
HDFS是一个分布式文件系统，既然是文件系统，就可以对其中的文件进行操作，比如说新建文件夹、上传文件，重命名文件，下载文件，删除文件、列举所有文件等操作。HDFSClient.javapackage com.looc.client;import java.io.FileNotFoundException;import java.io.IOException;import org
2017-08-31 10:06:49
428
原创 Hadoop-2.7.3 HA 完全分布式搭建
准备工作1.安装包版本以及功能 软件名 版本号 功能 Hadoop hadoop-2.7.3.tar.gz 为海量数据提供分布式存 储（HDFS）和分布式计算 (YARN)。 ZooKeeper zookeeper-3.4.10.tar.gz 一个分布式应用程序协调 服务，为应用提供一致性服 务，是 Hadoop 和 Hbase 的 重
2017-08-29 09:38:02
1629
2
原创 ZooKeeper-3.4.10 Java API的使用样例
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务框架，包含一组简单的原语集合。通过这些原语言的组合使用，能够帮助我们解决更高层次的分布式问题。package demo.jdbc.zookeeper.main;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperExcepti
2017-08-28 16:49:43
549
原创 ZooKeeper-3.4.10的安装和配置
准备工作1.搭建好的hadoop分布式系统2.zookeeper-3.4.10.tar.gz安装解压zookeeper-3.4.10.tar.gz包完成安装#tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/hadoop配置1.添加环境变量#vim /etc/profile添加如下记录：
2017-08-24 20:12:43
1004
原创 面向对象学习笔记
OOP的三大特点：（封装、继承和多态） 注意：OOP是一种编程思想，描述起来比较复杂，所以针对OOP归纳出了三大特点。OOP三大特点之封装： 思想层面：封装是面向对象思想的基础，因为封装是对象独立行的基本体现。我们认为一个对象具有属性和方法，因此属性和方法是界定对象的核心。封装可以让对象自身的属性和方法被访问的方式更加的规范。 应用层面：我们将类中几乎所有的属性都设定为private，然
2017-08-24 08:57:52
275
原创 apt-get指令
apt-get命令是Debian Linux发行版中的APT软件包管理工具。所有基于Debian的发行都使用这个包管理系统。deb包可以把一个应用的文件包在一起，大体就如同Windows上的安装文件。1.更新源 apt-get update2.普通安装一个软件包 apt-get install packagename3.修复安装一个软件包 apt-get -f install p
2017-08-23 10:22:49
388
原创 rz/sz
对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者将服务器的文件下载到本地，rz / sz命令帮我们实现了这个功能。上传：rz下载：sz 文件名sudo yum install lrzsz -y
2017-08-23 10:20:24
290
原创 Linux Java环境变量的配置
环境变量PATH变量。PATH变量的作用是指定命令的搜索路径，在shell下面执行命令时，我们需要把jdk安装目录下的bin目录添加到现有的PATH变量中，bin目录中包含经常使用的可执行文件javac，java，javadoc等，设置好PATH变量之后就可以在任何目录中执行javac，java等工具了。 CLASSPATH变量。作用是指定类搜索路径，jvm通过CLASSPATH来寻找类。我
2017-08-23 10:18:05
307
原创 当linux中的所有指令突然不能使用的时候
导入临时变量（重启虚拟机之后失效）#export PATH=$PATH:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin解决
2017-08-23 10:10:46
4122
原创 通过JDBC连接Hive以及常见异常处理方式
环境1.hadoop-2.7.3集群2.hive-1.2.2测试代码1.JDBCUtils.javapackage demo.utils;import java.sql.*;public class JDBCUtils { private static String driver = "org.apache.hive.jdbc.HiveDrive
2017-08-23 09:24:56
12902
原创 关于vim编辑器
关于vim编辑器VI：Visual Interface（可视化接口）（类似Windows记事本）VI->VIM：VIM保留了VI的所有操作并且有所升级： VIM支持多级撤销（u撤销） VIM可以跨平台运行 VIM支持语法高亮（关键字不同颜色标记） VIM支持图形界面Command Mode：命令模式Inser
2017-08-22 16:04:41
217
原创 关于CDH页面下载HDFS文件地址解析出错
错误情况 点击Download出现地址解析错误 解决办法将linux中/etc/hosts文件中的集群配置信息（ip 主机名）写入C:\Windows\System32\drivers\etc\hosts中 Over
2017-08-22 15:00:43
1942
2
原创 Sqoop-1.4.6的安装和配置
准备工作1.搭建好的hadoop分布式系统2.mysql-connector-java-5.1.43-bin.jar和sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz安装包安装解压sqoop安装包实现sqoop的安装#tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /u
2017-08-22 10:57:44
684
原创 关于通过Eclipse上传文件到HDFS文件为空的问题
解决办法第一种：#iptables -F注：将每一个节点的防火墙关闭。因为造成文件为空的原因可能是节点与节点之间出现了访问权限限制的问题，导致文件上传失败。第二种： 将hdfs-site.xml文件中的dfs.data.dir和core-site.xml文件中的hadoop.tmp.dir的路径指定为linux操作系统中已经存在的同一个路径。Over
2017-08-21 16:43:03
3428
原创 Linux中修改MySQL的用户密码
在MySQL系统外修改密码#mysqladmin -u root -p password "密码"Enter password:[输入原来的密码]在MySQL系统中修改密码#mysql -u root -pEnter password:[输入原来的密码]mysql>use mysql;mysql>update user set password=password("密码")
2017-08-17 14:52:23
439
原创 Hive-1.2.1远程模式的安装和配置
准备工作1.搭建好的Hadoop分布式系统2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar在mysql数据库上创建hive数据库用于保存hive元数据#mysql -u root -p>输入密码mysql>create database hive;安装解压apache-
2017-08-17 12:33:31
1023
原创 SSH免密码登陆
生成密钥对ssh-keygen –t rsa –P ''回车生成的密钥对：id_rsa和id_rsa.pub把id_rsa.pub追加到authorized_keys里面cat id_rsa.pub >> authorized_keys
2017-07-27 14:07:44
172
原创 Hbase-1.2.6的安装和配置
准备工作1.搭建好的hadoop分布式集群2.hbase-1.2.6-bin.tar.gz安装1.解压hbase-1.2.6-bin.tar.gz完成安装#tar -zxvf hbase-1.2.6-bin.tar.gz -C /usr/local/hadoop配置1.添加环境变量#vim /etc/profile添加如下记录：
2017-04-27 12:03:35
4682
原创 CentOS使用DVD光盘作为yum软件源
挂载DVD光驱到/mnt/cdrom注：如果/mnt目录下不存在cdrom，则先创建/mnt/cdrom文件夹mkdir -p /mnt/cdrommount -t iso9660 /dev/cdrom /mnt/cdrom如图则表示挂载成功 修改yum配置将/etc/yum.repos.d/中的文件备份。cd /etc/yum.repos.d/mkdir
2017-03-29 12:51:33
3095
原创 Eclipse Hadoop开发环境搭建
准备工作搭建完成的Hadoop分布式集群或者伪分布式。eclipse.zip包hadop-2.5.0.tzr.gz包hadoop-eclipse-plugin-2.5.0.jar插件备用文件： hadoop.dll winutils.exe文件目录 如图所示： 1. eclipse-java-neon-x86_64.zip解压及安装eclipse。 2. ha
2017-03-28 15:42:14
530
原创 Docker镜像使用帮助
Docker官方在2015年7月启用新的仓库，软件包名由lxc-docker更新为docker-engineubuntu用户首先信任Docker的GPG公钥：sudo apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572
2017-03-16 09:27:16
333
原创 通过终端安装程序apt-get install ...的时候出现错误
通过终端安装程序apt-get install …的时候出现错误E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration directory (/var/lib/dpkg/), is another pr
2017-03-16 08:46:54
705
原创 Hadoop-2.5.0 完全分布式搭建
一、准备1.ubuntu 16.04的系统四台（一个master节点，三个slave节点）。2.jdk-8u121-linux-x64.tar.gz3.hadoop-2.5.0.tar.gz二、安装JDK（全部虚拟机都要安装JDK并配置环境变量）1.修改虚拟机的主机名 分别命名为： master slave1 slave2 slave3 注意：重启虚拟机生效
2017-03-09 17:31:09
428
转载 OpenStack组件Swift单机搭建（Keystone）
OpenStack组件Swift单机搭建（Keystone）转载：张大神。orzorzorz安装环境：Ubuntu 16.04.1需要两块硬盘（一块为系统盘，一块用于安装Swift）需要有IP地址环境准备修改hosts文件安装相关服务修改hosts编辑 /etc/hosts，添加IP地址 controller11
2016-12-12 09:49:38
1707
原创 Hadoop-2.5.0 伪分布式搭建
一、准备1.ubuntu 16.04的系统一台。2.jdk-8u121-linux-x64.tar.gz3.hadoop-2.5.0.tar.gz二、安装JDK1.安装# tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/jvm2.配置java环境变量# vim /etc/profile
2016-12-08 17:50:17
1274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人