- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据实践的Vagrant自动化虚拟集群创建以及Ansible应用部署
在大数据教学实践中，经常需要采用虚拟化技术模拟大数据集群，并学习各项大数据技术栈路线。通过一些自动化技术，方便我们反复创建各种学习环境，使得我们能够专注各项技术栈学习，克服创建环境和配置的重复而复杂的过程。
2022-12-13 19:56:29
456
1
原创 Windows下虚拟机的自动化管理
Windows下虚拟机的创建主要为VirtualBox和VMWare。本文采用VirtualBox搭建虚拟机，并使用Vagrant对虚拟机进行自动化管理，包括虚拟机的创建，虚拟机初始环境的自动化建设，也包括虚拟机和虚拟机环境重建，虚拟机的销毁等。
2022-12-05 19:02:09
795
原创 Windows Docker Desktop容器自动化管理
使用Docker compose和开源工具Dobi从一个Linux基础容器镜像，构建支持SSH两个容器，以及一个具备X11 forwarding的有Google chrome浏览器和Jetbain idea集成开发工具的容器。
2022-12-02 17:59:41
1043
原创 Windows Docker Desktop Almalinux镜像安装
安装运行Almalinux SSH需要开启特权，指定--privileged=true。
2022-11-21 18:34:30
393
原创 边缘Kubeedge DHT11温湿度获取
基于kubeedge examples temperature-demo，并参考traffic-light例程，实现边缘kubeedge DHT11温湿度同时获取。
2022-10-31 14:11:51
272
原创 Windows PC上创建大数据职业技能竞赛实验环境之八--Sqoop
使用Sqoop建立MYSql和Hadoop（Hive）之间的有效连接，相互间数据转换和传输。参考真正了解sqoop的一切 - 简书 (jianshu.com)进行Sqoop的下载安装。我们将Sqoop下载、解压和安装在Client1的机器上。官方Sqoop已经停止更新，下载转向Apache Sqoop - Apache Attic。下载Sqoop 1，最新版是1.4.7。tar xfvz sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.
2022-05-23 11:29:05
921
原创 STM32的RT-Thread开发
1 硬件环境stm32f103c8t6板及stm32f401ccu6板，都是目前性价比最高的stm32开发板，基本上不到20元。由于rt-thread操作系统占用还是比较大的，所以stm32f103c8t6这样的板子，64K的内存已经十分局促了，因此stm32 rt-thread的开发还是基于stm32f401ccu6，比较适合。ttl转usb板，我用的是ch340芯片。st-link.。esp01s，也是目前性价比很高的wifi模块了。几个数字传感器：单总线的ds18b20温度传感器、
2022-05-07 09:59:34
6805
原创 基于Arduino环境的Stm32 MCU开发
1 Arduino Stm32基础环境配置参看Getting Started · stm32duino/wiki Wiki · GitHub及STM32duino——依托Arduino框架玩转STM32（一）： 开发环境的配置 - 知乎 (zhihu.com)。下载安装Arduino IDE，运行Arduino。选择文件->首选项，在附加开发板管理器中填入：https://github.com/stm32duino/BoardManagerFiles/raw/main/package_stmi
2022-04-21 11:23:17
10043
5
原创 Windows PC上创建大数据职业技能竞赛实验环境之七--疑难问题
1 Ubuntu Docker中文显示问题查看locale设置，我们可以看到Ubuntu缺省local是POSIX，需要进行修改。root@client1:~# localeLANG=LANGUAGE=LC_CTYPE="POSIX"LC_NUMERIC="POSIX"LC_TIME="POSIX"LC_COLLATE="POSIX"LC_MONETARY="POSIX"LC_MESSAGES="POSIX"LC_PAPER="POSIX"LC_NAME="POSIX"LC_A
2022-04-16 18:40:11
2731
原创 Windows PC上创建大数据职业技能竞赛实验环境之六--Flume、Kafka和Flink编程
1 Flume参看日志采集工具Flume的安装与使用方法_厦大数据库实验室博客 (xmu.edu.cn)。查看Flume安装root@client1:~# flume-ng versionFlume 1.7.0Source code repository: https://git-wip-us.apache.org/repos/asf/flume.gitRevision: 511d868555dd4d16e6ce4fedc72c2d1454546707Compiled by bessb
2022-04-15 18:50:34
2591
原创 Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。1 设置容器开启时自运行SSH服务参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容：vim /root/startup_run.sh chmod +x /root/startup_run.sh编写startup_run.sh
2022-04-14 22:23:47
911
原创 Windows PC上创建大数据职业技能竞赛实验环境之四--客户端环境的搭建
Hadoop集群访问客户端 X window Jet brain Idea和客户端开发环境以上环境我们将在WSL的Ubuntu docker容器中实现，其中对X和Idea的访问，通过Windows Xserver实现。1 拉取Ubuntu镜像，运行ubuntu容器。wslu@LAPTOP-ERJ3P24M:~$ sudo docker pull ubuntu:latestwslu@LAPTOP-ERJ3P24M:~$ sudo docker run -it --name hadoop-cl
2022-04-13 11:37:35
2214
原创 Windows PC上创建大数据职业技能竞赛实验环境之三--Spark、Hive、Flume、Kafka和Flink环境的搭建
在前述hadoop-base基础容器环境的基础上，实现Spark、Hive、Flume、kafka和Flink实验环境的搭建。我们已将前述的hadoop-base基础容器进行可阶段的保存：sudo docker commit "hadoop base v3" hadoop-base centos/hadoop-base:v3现在，如果已经将前述作业的hadoop-base容器停用并删除，用保存的centos/hadoop-base:v3镜像重新开启hadoop-base容器。加入共享目录，暴露ss
2022-04-10 19:36:36
2252
原创 Windows PC上创建大数据职业技能竞赛实验环境之二--Hadoop集群搭建
由于之前我们通过Docker hadoop-base容器同WSL宿主机建立了共享目录，通过把下载准备好的大数据平台组件拷贝进共享目录，在容器中既可以轻松获得大数据平台组件，进而安装到位。[root@b234dd5197ac ~]# cd[root@b234dd5197ac ~]# cd data[root@b234dd5197ac data]# ls -ltotal 1912500-rw-r--r-- 1 1000 1000 1520449 Apr 7 13:53 apache-ech
2022-04-09 15:36:47
1637
原创 Vim插件实现IDE效果Spark应用开发
Vim具有非常好的插件扩展性，是终端平台下系统软件调试、编程的优秀工具，为广大*ix使用者广泛使用。大量的*ix服务器用户界面是字符界面，很少加装X window，因为这样致使系统容量和开销都大大增加，并且X window要通过远程桌面访问，不仅配置复杂，效果难能满足。故大量的服务器远程编码和配置都使用SSH连接，简单的字符界面终端访问，这样Vim轻量而效率高的特点得到真正发挥。以下纪录Vim安装语言服务器和Scala Metals插件实现远程Spark应用开发。1 安装Spark环境这里不
2021-11-13 21:33:01
1019
原创 用VSCode开发Spark应用
通常Spark普遍使用Jet Brain的Idea，用Idea建立本地服务器并进行测试开发，使用起来还相对不错，可以借力Idea强大而便捷的功能，使得开发应用相对得心应手。然而最近一直考虑远程服务器的搭建并建立开发环境，发现Idea缺乏远程开发的支持或支持不是十分完美。一段时间使用VSCode，感觉十分不错，轻量化，尤其完美的远程服务器模式，不仅支持WSL，也支持SSH远程模式很适合远程环境配置开发。以下是使用VSCode借力远程服务插件和Scala Metals插件搭建Spark应用开发环境记录心得。
2021-11-12 18:06:37
4724
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人