- 博客(17)
- 收藏
- 关注
RSS订阅原创 python week01总结
这周主要学习了以下知识点：1.python的运行方式有以下两种：python hellotest.py./hellotest.py #采用这种方式必须在脚本文件中注释所使用的python解释器，如下：#!/usr/bin/env python3print("hello,world")2.python的注释方式，两种：#单行注释方式'''第一种多行注释方式'''"""第二...
2018-07-12 08:51:54
180
原创 mysql基础知识
今天来学习以下mysql常用指令的用法。1.登录mysql>mysql -h xxxxx -u root -p xxxxx;2.grant on 新增用户>>grant select,create,update,delete on *.* to zpp@localhost identified by "123456";运行zpp用户，密码123456，对本地的所有数据库的所有表...
2018-05-02 17:36:43
128
原创 进入大数据行业
从去年4月份报名51CTO在线大数据培训课程，到现在，刚好1年时间，上星期刚拿到两份大数据职位的Offer，一份是大数据测试，一份是大数据运维。1年的辛苦，还是值得的，主要是实现了多年以来一直想转岗的愿望。最终选择大数据运维岗入职。全新的行业，全新的岗位，充满了挑战，虽然还没有真正入职，但从网上了解，要想做好大数据运维工作，接下来1年时间需要重点学习以下知识点：1）大数据几
2018-04-24 09:31:07
260
原创 spark集群安装
下载spark,并利用scp命令传到elephant节点的/opt目录，安装目录为/opt/spark我下载的是spark-2.1.2版本，cp spark-env.sh.template spark-env.shvim spark-env.sh添加以下内容export JAVA_HOME=/opt/jdk1.8.0_121export SCALA_HOME=/opt/scalaexport ...
2018-04-12 21:32:34
156
原创 HBase JAVA API实现HBase表操作
1.在centos系统中创建好hadoop,hbase集群，并启动，验证运行正常。2.新建eclipse Maven工程，工程名为MyHbase.3.把hadoop和hbase的相应配置文件分别放置到src/main/resource/hadoop和src/main/resource/hbase目录3.把上一步的hadoop目录和hbase目录文件添加到Libraries（Add Class Fo...
2018-04-05 14:20:02
1275
原创 HBase JAVA API学习
今天学习下hbase java API的知识，为后面hbase,flume,kafka,spark整合编程作准备。在网上查到一个博客，讲解的很详细，网址如下：http://www.cnblogs.com/tiantianbyconan/p/3557571.html在这里感谢原作者了，我主要根据他的资料整理总结下：1.获取配置 HBaseConfigurationHBaseConfigur...
2018-04-04 17:34:27
128
原创 flume将数据导入到hbase中
接着前面的练习，flume已经安装完成并可以正常运行。运行/opt/flume/bin/flume-ng version可以查看安装的版本。1.把/opt/hbase/lib目录下的以下文件复制替换到/opt/flume/lib目录下面[root@elephant lib]# cp protobuf-java-2.5.0.jar /opt/flume/libcp: overwrite `/opt...
2018-04-03 11:15:15
2414
原创 搭建3个节点的hadoop集群（完全分布式部署）5 flume安装及flume导数据到hdfs
下载并安装flume,安装目录为/opt/flumemv flume-conf.properties.template flume-conf.propertiesmv flume-env.sh.template flume-env.sh修改flume-env.sh 环境变量,添加如下：export JAVA_HOME=/opt/jdk1.8.0_121FLUME_CLASSPATH="/op...
2018-04-02 17:41:46
1006
原创 搭建3个节点的hadoop集群（完全分布式部署）4 安装scala与kafka
先只是安装在elephant节点上.先下载scala与kafka并解压放到/opt目录下面,版本如下：kafka_2.10-0.8.2.1.tgzscala-2.11.8.tgz在/etc/profile设置scala的目录启动kafkabin/kafka-server-start.sh config/server.properties新建topicbin/kafka-topics.sh --cr...
2018-04-02 16:47:06
296
原创 搭建3个节点的hadoop集群（完全分布式部署）--3 zookeeper与hbase安装
zookeeper安装比较顺利，hbase安装好后总是运行不了，HMaster起来马上又掉了，折腾了两天终于搞定，下面详细介绍下这两个组件的安装。1.zookeeper在apache官网下载zookeeper组件，我下载的版本是：zookeeper-3.4.10.tar.gzscp上传到elephant节点的opt目录下面。解压缩 tar -zxvf zookeeper-3.4.10.tar.gz...
2018-04-02 13:18:58
486
原创 搭建3个节点的hadoop集群（完全分布式部署）--2安装mysql及hive
网上下载mysql安装包文件，我下载的是：mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz，tar解压后mv到mysql文件夹，启动mysql服务service mysqld start登录mysqlmysql -u root -p输入密码后，登录成功创建数据库hive,用来保存hive元数据create database hive;操作数据库的权限grant ...
2018-04-01 10:30:21
1749
原创 搭建3个节点的hadoop集群（完全分布式部署）--1 安装虚拟机及hadoop组件
昨晚搞到晚上11.30，终于把hadoop组件安装好了，运行试了下，正常...这里记录下完全分布式hadoop集群的搭建步骤。1.VWMare平台安装之前已经安装好了，这里不详细说明。2.安装CentOS虚拟机1）下载好centos ISO安装文件，我安装的是centos6.5版本，安装mini desk模式2）安装好后，再安装VMTools，方便复制及操作centos系统。3）安装Java JD...
2018-03-29 16:40:40
1521
原创 spark java编程练习
今天练习了spark java常见操作。SparkConf conf=new SparkConf();conf.setAppName("xxxxxx");conf.setMaster("local");JavaSparkContext sc=new JavaSparkContext(conf);sc.setLogLevel("error");JavaRDD rdd1=
2017-09-22 20:34:27
731
原创 用spark streaming实现黑名单实时过滤
项目介绍：本项目用spark streaming实现简单的黑名单实时过滤，用scala语言编写，用到的知识点如下：1.RDD,弹性分布式数据集2.ssc.socketTextStream("localhost",9999),利用socketTextStream接口编程，监控端口数据3.leftOuterJoin4.transform函数使用5. nc -lkv 9999
2017-09-03 11:47:20
2439
原创 2017/8/31
第一篇博客是在2017/2/17写的，当时还在学习android程序开发，记得在做无线点餐系统，转眼大半年过去了，转型开发之路并没有想象中的容易，从去年开始自学java，到后来学习android开发，也做了两个小项目，再到年后的决定学习大数据开发，一路走来，很庆幸，我没有放弃，每天晚上吃完饭，很自然就做在电脑前面，也习惯了这种状态，希望能一直保持下去。大数据课程已全部结束，但是感觉
2017-08-31 15:32:28
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人