ubuntu18.04 修改域名服务器DNS

前段时间为了科学上网,捣鼓SSR,油管倒是能访问了,但是停用SSR后,国内网络却不能访问了。头疼。 没动过其他配置,缺不能访问网络,初步怀疑是DNS的问题,然后开始各种百度。 1. /etc/resolv.conf 查看/etc/resolv.conf文件 可以看到,DNS只有127.0.0.5...

2019-04-03 13:54:43

阅读数 62

评论数 0

论文阅读: Universal Language Model Fine-tuning for Text Classification

论文链接: https://arxiv.org/pdf/1801.06146.pd 官方代码与数据: http://nlp.fast.ai/category/classification.html

2018-11-16 19:10:58

阅读数 89

评论数 0

ubuntu 18.04 解决网易云音乐图标不能打开的问题

很长时间没写过博客了,这次搞定了一个不大不小的bug,记录一下,也帮助一下遇到同样问题的人。 先上图,成功搞定网易云。 bug如标题所示,Ubuntu安装网易云音乐很简单,在网易云官网下载linux版的客户端安装即可,不多赘述,到目前为止,只有只有两个版本,我选择的Ubuntu16,不过在Ubu...

2018-11-07 11:25:38

阅读数 620

评论数 2

IDEA maven项目查自动查看依赖关系,解决包冲突问题

在maven项目中找到pom.xml,打开。 <dependencies> <dependency> <groupId&gt...

2018-03-14 17:29:17

阅读数 11335

评论数 2

maven项目打包方式及导出依赖方式

小功能,做个笔记。 由于项目需要,把IDEA的maven项目转为普通的java项目,然后问题出来了,项目代码很好弄,直接重构就好,但是maven中的依赖怎么导出来呢。 本来是打算在本地仓库中通过项目的libraries一个一个找的,后来想想工作量太大,还是算了。 最后才发现maven有相关的...

2018-03-14 15:31:43

阅读数 392

评论数 0

flume+kafka+storm整合(二)--- flume 头文件header处理

上一篇文章阐述了通用的flume+kafka+storm模式,若是有如下需要:在传输数据的同时,携带header头文件信息,比如在传输文件的同时,在flume Event的header中携带文件的元数据,该怎么处理呢。 上一篇文章连接:http://blog.csdn.net/chenguang...

2018-03-07 18:10:20

阅读数 1200

评论数 1

flume+kafka+storm整合(一)

这几天弄了一下消息采集方面的工作,跑了一下flume+kafka+storm的流程,遇到一些问题,不过最终还是搞定了。其实网上有很多相关的文章,这里整理出来,只是作一下笔记,方便以后查看,如果能帮到和我踩到类似坑的小伙伴的话,那就更好了,废话补多说,开工。 这里就不具体介绍flume,kafka...

2018-03-07 17:32:44

阅读数 1952

评论数 0

python numpy 自定义数据类型

在某些场景下,可能会用到numpy的自定义数据类型,比如需要将电子表格或者数据库的一行数据作为一个数据。 举例说明,我们创建一个存储商店库存信息的数据类型。其中,我们用一个长度为40个字符的字符串来记录商品名称,用一个32位的整数来记录商品的库存数量,最后用一个32位的单精度浮点数来记录商品价格...

2018-02-13 15:13:07

阅读数 962

评论数 0

Ambari + HDP集群的卸载

有的情况下,若需要换掉集群,重新安装新集群(不是卸载服务),就需要卸载ambari集群。清理残留文件是一个不小的麻烦,若清理不干净,重新安装集群的话,绝逼会让你头疼的。 由于需要删除的东西太多,我就不一一写出来,用XXX代替名称,主要是每个人用的版本不一致,安装的HDP服务也不一致,所以名称也不...

2018-02-09 11:40:39

阅读数 1153

评论数 1

flume介绍与测试

背景 flume最开始由cloudera软件公司产出的可分布式日志收集系统,后于2009年被捐赠了apache软件基金会,为hadoop相关组件之一。不断的完善与版本升级,推出了flume-ng,现在早已是Apache顶级项目之一。 flume简介 Flume is a distribute...

2018-02-02 14:28:43

阅读数 134

评论数 0

centos7 安装mysql

1. 下载mysql的安装源的RPM包 下载地址:http://dev.mysql.com/downloads/repo/yum/ 2. 安装rpm源 yum localinstall mysql57-community-release-el7-11.noarch.rpm 检...

2018-01-26 14:18:25

阅读数 91

评论数 0

如何给hadoop集群分配角色

转载自微信公众号Hadoop实操 1.文档编写目的 本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量,真实要部署的哪些服务,硬件资源,配置,以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时,...

2018-01-25 17:44:15

阅读数 3543

评论数 0

centos7下安装telnet服务

先查看是否安装Telnet [root@Hortonworks02 ~]# rpm -qa | grep telnet telnet-server-0.17-64.el7.x86_64 telnet-0.17-64.el7.x86_64 若没有安装,则分别安装telnet ...

2018-01-18 10:38:22

阅读数 4150

评论数 0

HDP 集群中flume与kafka的整合

首先保证flume与kafka正确安装并启动,这个比较简单,直接在ambari中添加新服务即可,不多赘述。 配置flume 新建一配置文件kafka.conf, 编辑,追加一下内容。 #扫描指定文件配置 agent.sources = s1 agent.channels...

2018-01-17 10:16:39

阅读数 881

评论数 0

http服务停止导致Ambari添加服务失败

最近尝试使用ambari安装HDP集群,跌跌撞撞的终于安装成功了,在使用过程中也遇到了一些问题,这里记录之。 尝试添加kafka服务,原本以为很简单的东西,事实证明报错了。 果断查看日志。 开始也并没有看出什么头绪,然后又尝试添加其他服务例如sqoop,mahout等,意外的是居然都...

2018-01-16 14:09:01

阅读数 695

评论数 0

Phoenix介绍与安装

Phoenix简单介绍 Apache Phoenix是构建在HBase之上的关系型数据库层,作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。Apache Phoenix会将用户编写的sql查询编译为一系列的scan操作,最终产生通用的JDBC结果集返回给客户端。 可以把Ph...

2018-01-15 15:04:03

阅读数 174

评论数 0

yarn调优之内存分配

前几天刚刚装了一个HDP集群,在添加spark2服务以后,设置的3个thriftserver总是有一个报错,删除了一个thriftserver以后可以正常启动,原以为这样就能正常运行了,然而,并没有。 昨天由于需要,运行了一个MR任务,奇怪的是任务总是被阻塞起(忽略红线)。 可以看到,上面...

2018-01-15 11:46:07

阅读数 562

评论数 0

Ambari系统概述

前言 Hadoop集群的管控一直是一个热门的话题,对于这样的一个应用场景,我所知道国内很早就有人研究并且取得不错的成绩,这就是EasyHadoop。它的功能主要有集群安装,管理,监控等功能,有兴趣的朋友可以百度,这位作者的博客有很详细的介绍。今天,我所要重点介绍的Apache的顶级项目,现在是大...

2018-01-09 16:49:53

阅读数 199

评论数 0

centos7 配置NTP服务器

NTP服务器是为了同步时钟周期,防止应为时钟的不一致引起的错误,常用与集群环境中。 集群如下: server: Hortonworks01 client: Hortonworks02 Hortonworks03目的是集群时间同步到Hortonworks01。在所有节点上安装ntpd模块 ...

2018-01-03 17:49:27

阅读数 1041

评论数 0

Spark源码分析之Rpc

RPC(Remote Procedure Call)即远程程序调用,它是分布式项目的基础环境,Spark RPC被deploy、scheduler、shuffle、storage等多个模块使用,是理解这些模块的前提。最初是基于akka的actor实现,在spark1.4标准了Rpc的相关接口,并在...

2017-12-29 15:56:08

阅读数 140

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭