- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Sqoop 导入数据异常处理
写在前面我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz解压使用会出现几个bug，之前也是出现了，然后也没有来记录一下。现在记录一下.问题1. 第一个，你要把mysql驱动包放在lib目录下。不然会报找不到驱动包的错误问题2. Exception in thread “main” java.l...
2020-02-15 20:38:15
610
原创 Docker 网络相关 （系统学习Docker04）
写在前面/////基于数据包的传输方式网络的分层路由的概念路由器进行路由选路IP地址和路由：公有IP和私有IP私有IP：A类：10.0.0.0–10.255.255.255 （10.0.0.0/8）B类：172.16.0.0–172.31.255.255 （172.16.0.0/12）C类：192.168.0.0–192.168.255.255 （192.168.0.0/16...
2020-02-12 00:48:51
140
原创 Docker 的镜像和容器（系统学习Docker03）
写在前面最为基础重要的两大概念：镜像和容器Docker 底层技术支持：Namespaces : 做隔离pid/net/ipc/mnt/utsControl Groups : 做资源限制Union file systems: Container 和 image 的分层镜像ImageImage的获取方式(1)：(1)Build from DockerfileDockerfile 有...
2020-02-12 00:46:14
304
原创 Docker 环境的各种搭建方法 （系统学习Docker02）
写在前面工欲善其事必先利其器看官网：https://docs.docker.com/install/Dcoker 在MAC Windows10 CentOS VartualBox Vagrant 之间能够擦出什么样的火花呢？2.1 Docker for Mac :https://docs.docker.com/docker-for-mac/install/MAC 安装之后包含：Th...
2020-02-12 00:37:38
429
原创 Docker 容器数据 持久化（系统学习Docker05）
写在前面本来是可以将数据存储在 容器内部 的。但是存在容器内部，一旦容器被删除掉或者容器毁坏（我亲身经历的痛，当时我们的大数据平台就是运行在docker容器内，有次停电后，不管怎样容器都起不来。以前的同事也没有将数据映射到外面 。搞得最后我们重新导的数据，痛的领悟啊~~）。再就是如果不将数据映射出来 ，比如要想使用容器内部的web日志，也是比较难搞，反正不就是其它容器/服务不是很方便。大体上...
2020-02-12 00:25:38
325
原创 Liunx操作的一些技巧【生产感悟】
写在前面本文主要是自己在操作类Linux机器的时候，一些我本来不太会不太熟悉的操作。然后在这里记录一下。每一条都是经典。哈哈哈~当服务器上没有vim/vi等，也不太好安装时，要想替换某个文件的内容语法：sed -i “s/搜索内容/替换内容/g” 文件名sed -i "s/upload_max_filesize = 2M/upload_max_filesize = 64M/g" php.i...
2020-02-10 21:31:06
1566
原创 容器技术和Docker的简单介绍（系统学习Docker01）
写在前面后面来不~先来一张经典的图：虚拟机技术 VS 容器技术（docker就是典型代表实现）可以看出：docker不需要我们提供OS的支持，它已经将OS集成在了自己的Docker Engine中。Docker + Kubernets（生产中可能是有上千个容器）k8s:对容器的创建 管理 调度 运维Docker 基础篇第一章：容器技术 与Docker简介第二章：Docker...
2020-02-09 14:03:13
302
原创 windows上Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tm
Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-参照这个开始解决：You will also notice that ...
2020-02-08 22:56:22
971
1
下载地址vagrant box.txt
2020-02-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人