自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(19)
  • 收藏
  • 关注

原创 Docker Compose部署vue+node+mysql项目

其中default.conf即为nginx的配置文件,/etc/nginx/conf.d/为配置文件目录,/usr/share/nginx/build为静态文件目录,同时将打包编译的dist文件拷贝到静态目录下。mysql为自己编译的mysql镜像,其中MYSQL_ROOT_PASSWORD为root的用户密码,build里指定了Dockerfile目录,使用专属网桥my-net。nginx为自己编译的前端服务镜像,build里指定了Dockerfile目录,使用专属网桥my-net。

2023-09-28 20:19:04 596

原创 Dockerfile部署Vue项目

设置基础镜像,这里使用最新的Nginx镜像,前面已经拉取过了。将dist-production文件中的内容复制到 /usr/share/nginx/html/这个目录下面。部署Vue项目依赖Nginx,首先拉取Nginx的镜像,这里使用Nginx最新的镜像,然后根据Nginx镜像运行容器。编译项目,编译完成之后,在项目的根目录下面就会生成一个dist-production文件夹,里面都是一系列的静态文件。如果容器停止,则启动容器,使用下面命令进入容器。访问192.168.137.4:8081。

2023-09-28 20:06:28 386

原创 Kubernetes(K8S)基础

由于 Kubernetes 是在容器级别运行,而非在硬件级别,它提供了 PaaS 产品共有的一些普遍适用的功能, 例如部署、扩展、负载均衡,允许用户集成他们的日志记录、监控和警报方案。也就是说,Kubernetes 集群中的每个 Pod (即使是在同一个 Node 上的 Pod )都有一个唯一的 IP 地址,因此需要一种方法自动协调 Pod 之间的变更,以便应用程序保持运行。例如,Pod 可能既包含带有 Node.js 应用的容器,也包含另一个不同的容器,用于提供 Node.js 网络服务器要发布的数据。

2023-09-28 19:46:56 98

原创 CentOS配置网络

Hyper-v安装CentOS7分辨率超出屏幕。登录root用户,查看配置文件。然后按下Ctrl+x。

2023-09-28 19:30:59 89

原创 Debian配置网络

修改/etc/resolv.conf只能临时修改dns,系统重启或者网络服务重启就会失效,但是可以通过安装resolvconf来永久修改dns。注:ls是用户名,只需要将这个改成你将希望被赋予sudo权限的用户即可。如果多个DNS,就一行一个,修改之后保存退出即可。按 ESC 键,然后输入 :wq 保存并退出。按 ESC 键,然后输入 :wq 保存并退出。如果已经变成了你设置的DNS,那就设置成功了。此方法修改后即刻生效,但重启后失效。修改完保存了并不是立即生效的。加入想要修改的DNS。

2023-09-28 19:28:32 944

原创 Docker安装

通过利用 Docker 的方法来快速交付,测试和部署代码,您可以大大减少编写代码和在生产环境中运行代码之间的延迟。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。配置加速器之后,如果拉取镜像仍然十分缓慢,请手动检查加速器配置是否生效,在命令行执行 docker info。

2023-09-28 19:12:44 18

原创 云计算基础

主要解决实时性、海量连接、带宽的问题。可根据用户的业务需求和预设策略,自动调整计算资源或弹性IP资源,使云服务器数量或弹性IP带宽自动随业务负载增长而增加,随业务负载降低而减少,节省云上业务资费,保证业务平稳健康运行。雾计算:强调计算位置,扩大了云计算的网络计算模式,将计算从网络中心扩展到网络边缘,更广泛地应用于各种服务。一种云上可随时自助获取、可弹性伸缩的计算服务,帮助您打造安全、可靠、灵活、高效的应用环境。研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

2023-09-28 18:48:32 180

原创 jupyter notebook的搭建、连接jupyter与spark

安装python更新软件包sudo apt-get update没想到出错了上网查了资料,找到了一个解决办法切换到国内源,使用清华大学开源软件镜像站网址:https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/打开文件,将其中内容全部替换成以下内容sudo cp /etc/apt/sources.list /etc/apt/sources_default.listsudo vim /etc/apt/sources.list再次更新软件包

2020-06-07 20:02:09 1504 2

原创 Hive的安装及其配置

下载安装文件下载好的安装文件位于Linux系统中的下载目录中将其进行解压,解压后的文件放于/usr/local目录下sudo tar -zxvf ~/下载/apache-hive-3.1.2-bin.tar.gz -C /usr/local为了之后使用方便,将解压后的文件重命名为hivesudo mv apache-hive-3.1.2-bin hive为文件赋权限sudo chown -R hadoop:hadoop hive配置环境变量为了方便使用,把hive命令加入到环境

2020-05-30 14:09:50 1159

原创 Spark SQL基本操作

创建一个JSON文件在/usr/local/spark目录下建立Student.json文件,并录入相应数据启动Spark Shellcd /usr/local/spark./bin/spark-shell创建一个基本的SparkSessionSparkSession类是Spark中所有功能的入口点。import org.apache.spark.sql.SparkSessionval spark=SparkSession.builder().getOrCreate()基于JSO

2020-05-23 10:53:20 330

原创 用Scala语言编写Spark独立应用程序WordCount

编程实现WordCount计算在终端中执行如下命令创建一个文件夹sparkapp1作为应用程序根目录cd ~ # 进入用户主文件夹mkdir ./sparkapp1 # 创建应用程序根目录mkdir -p ./sparkapp1/src/main/scala # 创建所需的文件夹结构在/sparkapp1目录下创建一个文本文件word.txt,其内容如下使用vim编辑器在/sparkapp1/src/main/scala目录下建立一

2020-05-22 21:01:38 1113

原创 用Scala语言编写Spark独立应用程序Pi

编程实现圆周率Pi的计算在终端中执行如下命令创建一个文件夹sparkapp作为应用程序根目录cd ~ # 进入用户主文件夹mkdir ./sparkapp # 创建应用程序根目录mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构为了能够使用sbt对Scala应用程序进行编译打包,需要把应用程序代码存放在应用程序根目录下的src/main/scala目录下。使用vim编辑器在/sparkapp

2020-05-22 20:22:58 1328

原创 sbt的安装及其配置

安装sbt官网下载地址:https://www.scala-sbt.org/download.html我选择的是sbt-1.2.8版本,将下载好的sbt-1.2.8.tgz解压到/usr/local目录下,解压后是一个文件名为sbt的文件sudo tar -zxf ~/下载/sbt-1.2.8.tgz -C /usr/local为文件赋予权限其中hadoop为当前登录Linux系统的用户名sudo chown -R hadoop /usr/local/sbt在/usr/local/sbt中

2020-05-22 17:58:00 3844 1

原创 Spark的安装及其配置

下载安装包官网下载地址:http://spark.apache.org/downloads.html我选择的是 Spark 2.4.5 版本,Pre-build with user-provided Apache Hadoop属于Hadoop free版,可应用到任意 Hadoop 版本。安装Spark将其解压到/usr/local目录下sudo tar -zxf ~/下载/spark-2.4.5-bin-without-hadoop.tgz -C /usr/local/为了之后方便使用,

2020-05-22 13:15:17 673

原创 HBase常用Shell命令

启动HBase先启动Hadoopcd /usr/local/hadoop./sbin/start-dfs.sh出现了NameNode,DataNode,SecondNode这三个进程,表示已经成功启动hadoop。切换到hbase目录并启动HBasecd /usr/local/hbase/bin./start-hbase.sh启动成功如下图所示启动HBase的命令行模式./hbase shell在HBase中创建表create '表名', '列族1', '列族2', ...

2020-05-18 12:01:56 617

原创 HDFS常用Shell命令

安装Hadoop以后,就已经包含了HDFS组件,不需要另外安装。Hadoop支持很多Shell命令,例如hadoop fs、hadoop dfs和hdfs dfs都是HDFS最常用的Shell命令,分别用来查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。这3个命令既有联系又有区别。(1)hadoop fs:适用于任何不同的文件系统,例如本地文件系统和HDFS文件系统。(2)hadoop dfs:只能适用于HDFS文件系统。(3)hdfs dfs:跟hadoop dfs命令的作用一样,也只能

2020-05-18 11:05:12 609

原创 HDFS的编程实践:Java应用程序

在Linux中下载安装EclipseEclipse是常用的程序开发工具,可以利用Ubuntu自带的“软件中心”安装Eclipse,在桌面左侧快捷启动栏找到“Ubuntu软件”进入“Ubuntu软件”以后,在界面右上角的搜索框中输入Eclipse,会出现Eclipse软件点击Eclipse图标进入,单击安装按钮就可以顺利完成Eclipse的安装(我是已经安装完成了,显示的不是安装按钮)安装时需要管理员权限,Ubuntu系统会弹出“认证”窗口进行用户认证,请输入当前用户的登录密码。同时需要注意的是

2020-05-15 16:31:10 682

原创 MapReduce分布式计算:使用Hadoop自带的wordcount程序、grep程序和pi程序

创建本地文件在桌面目录下创建文件wordfile.txt,其内容为"Hello World"和“Hadoop MapReduce”(两行)touch wordfile.txt运行程序之前,需要启动Hadoop切换到hadoop目录下,启动成功出现如下图所示cd /usr/local/hadoop./sbin/start-dfs.sh在HDFS上创建输入文件夹./bin/hdfs dfs -mkdir input1上传本地文件wordfile.txt到HDFS的input1目录下

2020-05-14 11:52:07 1186

原创 HBase的安装及其伪分布式模式的配置

Hbase的安装及其伪分布式模式的配置Hbase的安装此处使用的是hbase-2.2.0-bin.tar.gz版本,放在下载文件夹里面,将其解压sudo tar -xzvf ~/下载/hbase-2.2.0-bin.tar.gz为了之后方便使用,将解压后的文件夹重名为hbasesudo mv hbase-2.2.0 hbase为文件赋予权限,避免出现一些文件权限问题sudo chown -R hadoop ./hbase查看hbase是否安装成功hbase versionHbas

2020-05-09 15:17:03 369

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除