- 博客(10)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Hadoop YARN中内存优化的设置---yarn.scheduler.maximum-allocation-mb
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提...
2020-03-31 13:29:14
8692
转载 [Apache软件下载]-- apache各种版本的软件和源码下载网址(包含历史版本)
一、链接：http://archive.apache.org/dist/二、举例1、spark下载：http://archive.apache.org/dist/spark/2、hadoop下载：http://archive.apache.org/dist/hadoop/3、flume下载：http://archive.apache.org/dist/flume/4、kafka...
2020-03-27 10:34:01
474
原创 Docker基础学习--搭建环境
Docker 是一个开放源代码软件项目，让应用程序布署在软件容器下的工作可以自动化进行，借此在 Linux 操作系统上，提供一个额外的软件抽象层，以及操作系统层虚拟化的自动管理机制。1、Docker安装相对而言，Linux 上安装 Docker 是最容易的，其次是 Mac ，最后是 Windows ，Windows 因此要装的东西比较多，官方也提供了两个不同的安装包，支持不同的 Windo...
2020-03-25 14:15:43
253
原创 Could not initialize class sun.awt.X11GraphicsEnvironment异常处理
原因导致：经过Google发现很多人也出现同样的问题。从了解了X11GraphicEnvironment这个类的功能入手，一个Java服务器来处理图片的API基本上是需要运行一个X-server以便能使用AWT（Abstract Window Toolkit，抽象窗口工具集）。所以，问题肯定出在启动server时，未能实现X-Server功能。root用户未启动XServer，mm...
2020-03-25 13:34:22
1900
原创 Spark集群无法停止的原因分析和解决（Hadoop集群也有这个问题）
今天想停止spark集群，发现执行stop-all.sh的时候spark的相关进程都无法停止。提示：no org.apache.spark.deploy.master.Master to stopno org.apache.spark.deploy.worker.Worker to stop上网查了一些资料，再翻看了一下stop-all.sh，stop-master.sh，stop-s...
2020-03-25 13:24:03
841
原创 centos7挂载磁盘-五步走
首先解释一下磁盘挂载的含义：挂载通常是指给磁盘分区(包括被虚拟出来的磁盘分区)分配一个盘符。 第三方软件,如磁盘分区管理软件、虚拟磁盘软件等,通常也附带挂载功能，通俗的说一下，就说给Linux分一块盘，LInux是用目录管理盘符的，跟windows刚好相反：windows是用盘符管理目录的1.查询出增加的硬盘,使用fdisk -l,下图中有影射的是已经存在的2.硬盘分区。新添加...
2020-03-23 11:10:26
8504
原创 oracle或mysql获取分组后每组的前三条数据
mysql :select a.* from(select t1.*,(select count(*)+1 from 表 where 分组字段=t1.分组字段 and 排序字段<t1.排序字段) as group_idfrom 表 t1) awhere a.group_id<=3oracle：SELECT t.* FROM (SELE...
2020-03-16 15:57:58
1216
1
原创 关于Mysql关键字报错 （`这个符号在mysql中的作用）
`这个符号在mysql中的作用` 是MySQL的转义符，避免和 mysql 的本身的关键字冲突，只要你不在列名、表名中使用mysql的保留字或中文，就不需要转义。所有的数据库都有类似的设置，不过mysql用的是`而已。通常用来说明其中的内容是数据库名、表名、字段名，不是关键字。例如：select from from table;第一个from是字段名，最后的table...
2020-03-13 10:17:31
1423
原创 随笔
pg 语法上和其他数据库还是有些许不同，工作中常用的操作语句分享给大家！-- 建表语句create table ods.ods_b_bill_m (acct_month text,user_id text,city_code text)WITH (appendonly=true,orientation=column,--列存 行存为 rowcompres...
2020-03-12 15:43:51
314
openvino 2022.1的安装包
2023-12-04
Linux版 tomcat8.0 下载
2018-05-23
json转换时所需jar
2018-03-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人