yuisyu-CSDN博客

原创博客迁移至 github pages 说明

实在受不了 csdn 这么多乱七八糟的广告，博客迁移至https://snzhaoyua.github.io/csdn 停更了。

2018-10-13 11:13:53 247

原创 [Scala] [sbt] 使用自定义的 maven 仓库

## 编辑或新建 ${HOME}/.sbt/repositories，添加如下[repositories]localany-name-you-want: 你的仓库地址## 编辑 ${sbt_安装目录}/conf/sbtconfig.txt，如果你使用的 idea，在 settings->SBT-> jvm parameters 添加-Dsbt.override.build....

2018-08-20 11:25:14 1506 1

原创使用 Ambari 安装 HDP 集群

为什么说是 HDP 而不是 Hadoop 呢？这里其实是 Hortonworks 自己发明的一个词，叫 Hortonworks Data Platform，是包含 Hadoop 在内的一揽子解决方案。前置要求：3-4台 CentOS 7 机器，其中一台机器必须安装 Ambari 服务。教程参考centos 7 安装 apache-ambari。安装部件：如前所述，此次安装会安装...

2018-08-15 10:43:25 636

原创如何对 centos 7 分区进行扩容

识别分区类型fdisk -l在 Id 一列可以看到分区类型为8e 83等十进制数值，8e代表该分区由 Linux LVM 管理，适用本文的扩容方法，如果你的分区类型为83，代表其是 Linux Native Partion，可以参考另一篇博文（尚未书写）。虚拟机管理软件增加物理磁盘大小我使用的是 Vmware Workstation pro，在编辑虚拟机设置里可以轻松增加磁盘大...

2018-08-14 17:26:14 1209

原创 CentOS 7 如何...

如何更改为静态 IP 地址一. vi /etc/sysconfig/network-scripts/ifcfg-&lt;你的网卡名，如果不知道，直接 tab 自动补全&gt; ## 更改并添加以下数行# BOOTPROTO=dfcpBOOTPROTO=static# ONBOOT=noONBOOT=yesIPADDR=192.168.47.190 # IP 地址，先在虚拟机或路由...

2018-08-14 16:06:04 603

原创 centos 7 安装 apache-ambari

版本说明部件版本号 Ambari 2.6.2.2 CentOS 7 HDP 2.6 时间 20180814背景对于 Ambari 能做什么，对于搜索到此文的同学来说应该毋庸赘述。目前 Ambari 安装的官方手册主要是 Apache 和 Hortonworks，我首先是参考 Apache 的说明，通过 mave...

2018-08-14 15:54:24 579 1

原创更换 python pip 软件源

mkdir ~/.pipcd ~/.piptouch pip.conf## add these lines[global] timeout = 6000 index-url = https://pypi.doubanio.com/simple/ [install] use-mirrors = true mirrors = https://pypi.doubanio.co...

2018-08-11 16:13:35 728

原创 hive 2.3.3 安装常见问题

remote 模式最小配置安装问题remote 模式最小配置&lt;?xml version="1.0" encoding="UTF-8" standalone="no"?&gt;&lt;?xml-stylesheet type="text/xsl" href="configu

2018-08-11 11:35:45 461

原创 hadoop 2.9.1 学习笔记

hadoop 学习笔记HDFS读写流程HDFS文件权限安全模式注意事项JDK 版本应该使用 1.8，JDK 10 遇到启动过程中 warning 并且 datanode 无法启动的问题。集群安装最小配置文件（hadoop 2.9.1）core-site.xml&lt;configuration&gt; &lt;prop...

2018-08-11 11:24:54 395

原创 mysql 访问常见问题

配置文件参见如何确定 mysql 的配置文件只能从本机访问 lsof -i:3306 查看发现，mysql 只监听本机。解决：以我本机为例，在 /etc/mysql/mysql.conf.d/mysqld.cnf 中，将以下行注释掉bind-address:127.0.0.1仍然无法从外部机器使用某一用户访问，一般提示 “host x.x.x.x is not allowe...

2018-08-08 11:19:08 103

原创免密码 ssh 到其它机器

背景：在配置 hadoop 的时候这样设置会比较方便。目标：A 机器上输入 ssh root@B 可以直接访问，不需要输入密码步骤： 1. 首先在 A 机器上生成密钥对，一路回车 ssh-keygen -t rsa 2. 在 A 机器上输入，输入 B 机器的密码一次即可 ssh-copy-id -i ~/.ssh/id_rsa.pub r...

2018-07-30 22:29:51 173

原创右键添加在此处打开cygwin

系统：windows 10 目标：在空白处点击右键菜单，显示如图菜单项，点击后可以打开 cygwin 并切换到当前所在目录步骤： 1. 开始菜单运行 regedit 打开注册表 2. 定位到计算机\HKEY_CLASSES_ROOT\Directory\Background\shell\Cygwin\command 3. 新建项和字符串到如下图所示 ...

2018-07-30 22:21:26 2662 2

原创 ubuntu 18.04 更改 hostname

vi /etc/cloud/cloud.cfg#preserve_hostname: false ---> 改成 truevi /etc/hostnamereboot

2018-07-29 15:53:04 1409

原创 vmware clone 机器地址重复_ubuntu18.04地址配置

在使用 VMware Workstation 克隆 Ubuntu Server 18.04 版本后，发现克隆前后的机器 ip地址重复，且无论如何更改虚拟网络设置（编辑-虚拟网络编辑器）都无效。由于 Ubuntu 18.04 采用 netplan (/etc/netplan) 而不是先前版本的 /etc/network/interfaces 管理网卡设置，因此通过如下方法，将机器 ip 地址更改...

2018-07-29 15:51:58 1235