遇到报错:ERROR spark.SparkContext: Error initializing SparkContext

java.lang.IllegalArgumentException: System memory 100663296 must be at least 4.718592E8. Please use a larger heap size. 在Eclipse里开发Spark项目,尝试直接在spar...

2019-01-03 15:38:56

阅读数:10

评论数:0

oozie启动后自动挂掉及解决办法

最近在公司的申威服务器上部署机器学习平台,部署过程中也遇到好多问题,本章主要讲oozie出现的问题。 直奔主题!!!!! oozie启动后,过一段时间自动挂掉,界面也可以访问到,不知道何原因,只能去看log日志了,日志没有报错信息,很纠结,不知道如何解决,于是重启oozie,日志出现问题,遇到...

2018-11-08 16:50:52

阅读数:55

评论数:0

sqoop的常用导入导出命令

列出所有库 sqoop list-databases --connect jdbc:mysql://mysql:3306/ --username root --password 111111 ***************************************************...

2018-11-08 16:23:34

阅读数:14

评论数:0

MySQL批量SQL插入性能优化

 对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,可能每天花费在数据导入上的时间就会长达几个小时之久。因此,优化数据库插入性能是很有意义的。        网络上的牛人很多,总会有一些手段可以提高insert效率,大家跟我一起分享一下吧:  ...

2018-10-22 11:26:53

阅读数:13

评论数:0

where和having的区别

1.类型 “where”是一个约束声明,在查询数据库的结果返回之前对数据库中的查询条件进行约束,即在结果返回之前起作用,且“where”后面不能写“聚合函数”。 “having”是一个过滤声明,是在查询数据库结果返回之后进行过滤,即在结果返回值后起作用,并且“having”后面可以写“聚合函数...

2018-10-12 11:33:09

阅读数:9

评论数:0

源码编译mysql数据库

公司不能连接外网,要安装mysql数据库只能安装包安装,目前公司在龙芯服务器上安装,也就是mips64el架构上安装,mysql在此不适配,所以要源码编译安装mysql。 在此用编译mysql,n多次,几天的时间过去了,一直报错,报错解决再报错,再解决,实在不行。需要修改源码里面的东西,后来了解...

2018-09-03 14:16:58

阅读数:81

评论数:0

分布式集群上安装hive及问题解决

公司要在arm架构上安装mysql 和hive 在arm架构上需要手动编译安装mysql,编译安装mysql请看下一个博客。 在此只说一下hive的安装。hive可以直接安装使用。 因为hive是数据仓库,它主要就是将执行的sql语句转化为mapreduce任务,存储结构化数据,其实数据还是...

2018-09-03 14:05:59

阅读数:90

评论数:0

源码编译安装tensorflow

由于公司要在飞腾、龙芯上安装、因此源码编译tensorflow,但编译tensorflow要用bazel工具包来进行编译,因此要首先编译安装bazel。 因为tensorflow是基于python的一个模块,因此首先下载python等 下载 python-pip、enum、python-enu...

2018-07-31 13:11:09

阅读数:299

评论数:0

源码编译bazel

由于公司不能连接外网,且还要在飞腾、龙芯上安装、因此源码编译tensorflow,但编译tensorflow要用bazel工具包来进行编译,因此要首先编译安装bazel。 开始报了很多错误,由于公司只有我一个人在做这一块,也解决了很长时间。直奔主题 下载apt-get install buil...

2018-07-31 13:01:24

阅读数:57

评论数:0

docker动态扩空磁盘和修改路径

docker修改保存路径:   .docker容器默认保存路径在/var/lib/docker中;   .若docker存储路径中内存不足,用命令df -Th 查看分区目录,查找磁盘大的分区,将docker目录放到分区   .  df -Th [root@mips64el-fedora-m...

2018-07-31 11:23:35

阅读数:37

评论数:0

常见的几种Flume日志收集场景实战

  这里主要介绍几种常见的日志的source来源,包括监控文件型,监控文件内容增量,TCP和HTTP。Spool类型  用于监控指定目录内数据变更,若有新文件,则将新文件内数据读取上传  在教你一步搭建Flume分布式日志系统最后有介绍此案例Exec  EXEC执行一个给定的命令获得输出的源,如果...

2018-05-25 17:24:51

阅读数:89

评论数:0

Flume+Kafka收集Docker容器内分布式日志应用实践

about云hadoop日志分析 问题导读:1、如何设计Flume+Kafka收集架构?2、如何修改Docker内配置文件?3、如何进行Flume配置?4、如何定制RollingByTypeAndDayFileSink?1 背景和问题随着云计算、PaaS平台的普及,虚拟化、容器化等技术的应用,例如...

2018-05-25 16:45:52

阅读数:191

评论数:0

sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建

首先,说下博主我,为什么,好端端的Sqoop1用的好好的,然后又安装和学习Sqoop2?  因为,在Cloudera Hue里的Sqoop,是需要Sqoop2。HUE配置文件hue.ini 的sqoop模块详解(图文详解)(分HA集群)    Sqoop2安装简介  sqoop2的安装分为serv...

2018-05-25 16:43:53

阅读数:102

评论数:0

Docker中搭建Kafka集群以及让外网访问

集群规划,3个容器,由最初的centos:latest镜像开始制作主机名IP地址kafka-node1172.19.0.71kafka-node2172.19.0.7...

2018-05-25 15:24:16

阅读数:950

评论数:0

docker容器中搭建kafka集群环境

        Kafka集群管理、状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建一、软件环境:         zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2*N+1,这里使用3台node进行搭建zo...

2018-05-25 15:16:25

阅读数:179

评论数:0

使用 Docker 一步搞定 ZooKeeper 集群的搭建

ZooKeeper为分布式应用提供高效、高可用的分布式协调服务,它有三种运行模式:单机模式、伪集群模式和集群模式。本文通过探索ZooKeeper的官方Docker镜像,来看看怎样快速搭建一个ZooKeeper的高可用集群。Docker容器将应用打包成一个单一的镜像,这对应用程序的部署提供了很大的便...

2018-05-25 14:16:34

阅读数:160

评论数:0

hbase大规模数据写入的优化历程

业务背景:由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库,以此根据一定的条件来提供近实时查询,比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录,满足这一场景的技术包括:Solr,Elasticsearch,hbase等,在此选用了Hbase来实践。 ...

2018-01-04 16:34:16

阅读数:65

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭