关闭

分布式集群Kafka删除已经创建的topic

应用场景 按照Kafka集群的测试和简单试用博文进行了对Kafka的使用,与topic创建,并且模拟了消息的生产者,消息的消费者进行模拟环境,验证Kafka可以执行,但是想到,建立了topic,如何进行删掉呢?这是一个问题。 操作步骤方法一:修改配置文件,通过命令删除 修改配置文件server.properties # vim /opt/kafka2.11/config/server.pr...
阅读(15) 评论(0)

Kafka集群的测试和简单试用

应用场景 按照Hadoop完全分布式安装Kafka博文搭建完Kafka2.11集群后,需要简单试用,来体会Kafka的工作原理,以及如何进行使用,感受分布式消息队列系统。 操作步骤思路:搭建了三个节点的Kafka集群,在主节点创建一个topic,作为生产者,两个从节点作为消费者分别看看能否接收数据,进行验证步骤一,在主节点执行创建topic及查看topic命令#查看所有topic命令如下 #...
阅读(13) 评论(0)

Hadoop完全分布式安装Kafka

应用场景 按照搭建hadoop完全分布式集群博文搭建完hadoop集群后,发现hadoop完全分布式集群自带了HDFS,MapReduce,Yarn等基本的服务,一些其他的服务组件需要自己重新安装,比如Hive,Hbase,sqoop,zookeeper,spark等,这些组件集群模式都在前面相关博文中有介绍,今天我们需要安装另外一个组件,它就是分布式消息系统Kafka。 Kafka介绍 K...
阅读(13) 评论(0)

Flume OG和Flume NG的区别

应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeeper,所以一方面说直接安装Flume,解压即可用,还有一方面说需要先装了Zookeeper才可以安装Flume。那么为何会才生这种情况呢?其实两者说的都对,只是Flume的不同版本问题。 背景介绍...
阅读(15) 评论(0)

设置Flume监听文件内容

应用场景 按照Hadoop完全分布式安装Flume博文,测试使用了Flume监听文件夹,当文件夹中添加了文件,Flume设置会立马进行收集文件夹中的添加的文件,那么这是一种应用场景,但是如果我们想收集文件中的内容,该如何办呢?比如,linux目录下有一个文件,我会往这个文件里不断的新增内容,那么怎么才能实时写入到HDFS呢? 操作方案Hadoop完全分布式安装Flume博文,中监控文件夹,如果l...
阅读(19) 评论(0)

Hadoop完全分布式安装Flume

应用场景 按照搭建hadoop完全分布式集群博文搭建完hadoop集群后,发现hadoop完全分布式集群自带了HDFS,MapReduce,Yarn等基本的服务,一些其他的服务组件需要自己重新安装,比如Hive,Hbase,sqoop,zookeeper,spark等,这些组件集群模式都在前面相关博文中有介绍,今天我们需要安装另外一个组件,它就是日志采集工具Flume。 操作步骤1. Flume...
阅读(35) 评论(0)

本地windows跑Python程序调用Spark

应用场景 spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,当然我们也可以通过python代码,来调用实现spark计算,用spark来辅助我们计算,使代码效率更快,用户体验更强。 操作流程 按照windows搭建Python开发环境博文,搭建python开发环境,实际已经将Spark环境部署完成了,所以直接可...
阅读(65) 评论(0)

测试python--绘制天龙八部词云图

应用场景 python封装了很多算法,工具,使用起来非常的方便,它涉及各行各业,比如医疗,生物,数学,计算机,人工智能等,我们不需要使用它的全部,只需要使用我们所需要的一些,可以使代码更加简洁,开发更加方便。 需求场景 一本小说,天龙八部,统计天龙八部小说中,出现的词汇,然后将这些词汇绘制出词云图。 天龙八部小说下载地址测试代码import jieba from wordcloud impo...
阅读(44) 评论(0)

windows端部署python开发环境

应用场景 在本地windows端,想开发python代码,或者运行python代码,需要在windows端安装python开发环境,来测试python代码,学习python。 操作步骤1. 首先安装jdk1.8 配置环境变量等 jdk1.8下载地址 2. 安装Anaconda环境,配置环境变量 Anaconda下载地址 3. 安装spark,配置环境变量(spark1.6.1) sp...
阅读(81) 评论(0)

Linux端安装python3.5.0开发环境

应用场景 在linux端如果需要运行python代码,需要安装python开发环境,一般centos自带python开发环境,centos6自带了python2.6,而centos7自带了python2.7,但是如果想用python3,那么需要自己手动安装! 操作步骤1. Centos7自带的python # python #输入python命令,查看自带的版本 # whi...
阅读(62) 评论(0)

本地windows跑Scala程序调用Spark

应用场景 spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,所以利用scala来进行spark编程是十分必要的,下面简单书写一个spark连接mysql读取信息的例子。 操作流程 按照windows搭建Scala开发环境博文,搭建scala开发环境,实际已经将Spark环境部署完成了,所以直接可以用scala语...
阅读(81) 评论(0)

简单测试Scala跑程序

应用场景当本地部署搭建完Scala开发环境后,那么就可以利用IDE开发工具进行Scala语言编程,编写一些工具等等,这里写一些简单的语法涉及,来熟悉下Scala。运行代码package epoint.com.cn.test001object test001 { def main(args: Array[String]) { val msg = "hello world" val greetSt...
阅读(62) 评论(0)

Windows端部署Scala2.10.5开发环境

应用场景 如果没有服务器环境,可以在本地搭建Scala开发环境,单机版,然后安装IDE编程工具,就可以在本地机器上进行scala程序的开发! 操作步骤1. 首先安装jdk1.8 配置环境变量等 jdk1.8下载地址 2. 安装scala环境,配置环境变量(2.10.5) scala2.10.5下载地址 3. 安装spark,配置环境变量(spark1.6.1) spark1.6.1下...
阅读(68) 评论(0)

Linux部署Scala2.11.6开发环境

应用场景 当你想在linux端运行scala程序,或者想通过scala交互式操作来执行代码,首先得在linux端搭建Scala环境,下面来进行部署操作! 操作流程1、下载文件scala2.11.6.tgz scala2.11.6下载地址,下载后上传到linux的opt目录下 2、登陆linux,并解压 # cd /opt # tar -zxf scala-2.11.6.tgz # mv...
阅读(59) 评论(0)

CDH5.4.7安装Hadoop集群Java检查不一致

应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 解决方案修改Java配置 # vim /usr/lib64/cmf/service/common/cloudera-config.sh JAVA_HOME=/usr/local/java...
阅读(75) 评论(0)

CDH5.4.7安装Hadoop集群数据库无法连接

应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 错误展示:解决方案 可能上面操作过程中,没有给数据库赋权限。 设置root授权访问以上所有的数据库: grant all privileges on *.* to root@'%' identified by 'gtxd1234' with grant optio...
阅读(67) 评论(0)

CDH5.4.7安装Hadoop集群安装主机失败

应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 错误展示:解决方案server_host可能忘了修改了 # vim /opt/cm-5.4.7/etc/cloudera-scm-agent/config.iniserver_host修改为namenode1...
阅读(69) 评论(0)

CDH5.4.7安装Hadoop集群检查主机报错

应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 错误展示:解决方案主机时钟不同步 把前文中的ntpd服务重新检查一遍,可能没有开启ntpd。/proc/sys/vm/swappiness设置为0 # echo 0>/proc/sys/vm/swappiness关闭透明大页面 # echo never>/sys/kernel/...
阅读(68) 评论(0)

CDH5.4.7安装分布式Hadoop集群

应用场景 部署Hadoop集群过程中,可以使用开源的Apache Hadoop或者可以用CDH【国外的一家公司基于开源的封装的】,搭建更加方便,方便扩充节点规模,组件管控,性能监控等等,但是也有一个弊端,针对组件安装的目录,以及生成的配置文件位置比较难找到,目录结构混乱,所以还是请慎用。 操作步骤1. 概述 CM: Cloudera Manager (Cloudera公司专有的Hadoop集...
阅读(87) 评论(0)

开源BI工具superset的汉化

应用场景 搭建部署完开源BI工具superset,登录到界面中,发现都是英文的,因为这个开源工具是国外的一个产品,所以为了方便使用,需要对其进行界面文字的汉化。 操作步骤 1. 修改config.py文件,中的BABEL_DEFAULT_LOCALE=’zh’ 2. 将汉化文件放到/root/venv/lib/python2.7/site-packages/flask_appbui...
阅读(87) 评论(0)
100条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:14685次
    • 积分:5733
    • 等级:
    • 排名:第6698名
    • 原创:100篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    博客专栏
    欢迎交流
    QQ群:365688533
    QQ :757661238
    VX :bingoxubin