- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Linux环境下非root用户安装GCC
通常我们没有root权限，无法用apt、yum等指令升级系统已有的一些软件。系统原有的GCC版本如果太低，需要在用户自己的路径下安装GCC，然后在~/.bashrc里声明环境变量即可。
2022-04-01 22:27:09
3172
7
原创 Hadoop笔记——MapReduce分布式计算框架详解
MapReduce是一个分布式运算程序的编程框架。这个框架提供的是一套对HDFS里面文件进行分析的编程思路，即Map和Reduce两步。通过MapReduce提供的接口，我们可以方便地编写实现一个分布式计算任务，MapReduce自带的组件会将我们的代码组装成一个分布式计算程序提交给Yarn进行处理。优点：易于编程、良好的扩展性，增加机器就能扩展计算能力、高容错性、适合海量数据的离线计算和批处理。缺点：不擅长实时计算；不擅长流式计算，即不适合处理动态数据；不擅长GA
2020-09-01 15:19:45
1020
原创 报错ERROR[org.apache.hadoop.util.Shell]Failed to locate the winutils binary in the hadoop binary pat
ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary pat
2020-08-20 09:55:46
3328
原创 Hadoop笔记——HDFS运维详解
HDFS是分布式文件系统中的一种，通过目录树定位文件。1. 适用场景：一次写入、多次读出、不支持修改、适用于数据分析。2. 优点：高容错性、存储数据规模大、可使用廉价机器。3. 缺点：不适合低延时数据访问、不适合大量小文件的存储、不支持并发写入、仅支持数据追加，不支持随机修改本文介绍了HDFS的组成，HDFS的Shell命令，客户端操作，数据流读写流程，SecondaryNameNode工作机制，DataNode工作机制，HDFS集群安全模式和HDFS的HA高可用
2020-08-05 09:14:59
1047
原创 Hadoop笔记——集群时间同步
为了实现整个集群的时间同步，需要选定其中一台主机作为时间服务器，其他主机定时与该主机同步时间。负责同步时间的软件为ntp(网络时间协议)，服务名为ntpd
2020-06-07 10:26:07
299
原创 Hadoop笔记——Yarn的部署与MapReduce程序测试
Yarn(Apache Hadoop YARN)是Hadoop的一部分，负责Hadoop集群的资源调度。事实上，Yarn本身也是一个集群，它主要包括4个部分：ResourceManager（RM）：RM是一个全局的资源管理器，负责整个系统的资源管理和分配。ApplicationMaster（AM）：用户提交的每个应用程序均包含一个AM，负责向RM申请资源（Container），并分配给对应的应用程序。NodeManager（NM）：NM是集群每个主机节点上的资源和任务管理器。* Container
2020-06-05 17:36:52
516
原创 Hadoop笔记——Hadoop集群安装与部署
一、Hadoop安装Apache版本和CDH版本二、集群环境准备三、Hadoop的三种运行模式（一）本地运行模式（二）伪分布式运行模式（三）完全分布式运行模式
2020-06-05 15:48:28
775
原创 Hadoop笔记——集群分发脚本xsync与SSH免密登录
Hadoop集群的主机数量众多，当需要对每个主机进行相同的更改时，如修改了某个配置文件，可以只更改一台主机上的文件，然后使用scp（secure copy）安全拷贝指令分发到其他所有主机。为了使用方便，因此进一步编写了xsync脚本。
2020-06-04 19:52:35
472
原创 Hadoop笔记——Hadoop概述
Hadoop是大数据技术的基础，是一个由Apache基金会所开发的分布式系统架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop最核心的三部分是HDFS、Yarn和MapReduce
2020-06-03 09:24:38
270
原创 Linux笔记——APT常用指令
apt(Advanced Packaging Tool)是Ubuntu的软件包管理工具，apt命令在Ubuntu 16.04发布后开始推广，有取代之前apt-get的趋势.
2020-06-01 09:00:05
284
原创 Linux笔记——Shell基础语法
Shell 是一个用 C 语言编写的程序，它是一种命令行解释器，是用户使用 Linux 内核的桥梁。一、Shell介绍二、简单输出三、变量（一）变量的声明（二）变量的使用（三）变量的接收（四）变量的删除（五）设置环境变量（六）位置参数变量（七）预定义变量四、运算符（一）运算表达式（二）算术表达式（三）关系表达式（四）逻辑表达式（五）字符串运算符（六）文件测试运算符五、流程控制（一）if条件判断语句（二）case语句（三）for循环（四）while循环六、函数
2020-05-30 11:28:36
348
原创 Linux笔记——RPM常用指令
1.介绍RPM是RedHat Package Manager的缩写，类似于windows的setup.exe.2.查询查询已安装的所有RPM软件包列表：（由于列表太长，通常使用管道进行过滤）# rpm -qa | grep xxx查询某个RPM软件包信息：# rpm -qi xxx查询某个RPM软件包安装产生了哪些文件：# rpm -ql xxx查询某个文件属于哪个RPM软件：# rpm -qf 文件全路径3.卸载# rpm -e xxx4.安装# rpm -ivh
2020-05-26 19:57:20
171
原创 Linux笔记——进程和服务管理
一、进程管理（1）进程特点Linux中，每个进程都有一个PID每个进程都对应一个父进程，一个父进程可以有多个子进程（2）查看进程信息语法1：# ps [选项]常用指令：# ps -ef，# ps -aux语法2：# pstree -p（查看进程树）（3）动态监控进程语法：# top [选项]（适合监控进程实时负载情况）常用选项：-d:指定每隔几秒更新，-i:表示不显示闲置或僵死进程，-p:进程ID进入动态监控界面后，输入q退出监控，输入k准备kill进程，P按%CPU排序，M
2020-05-26 19:20:52
204
原创 Linux笔记——网络配置
虚拟机NAT模式下的网络如果是使用虚拟机，主机除了真实网卡外，还有一个虚拟网卡，例如VMware的虚拟网卡为：以太网适配器 VMware Network Adapter VMnet8该网卡ip地址可以在"虚拟网络编辑器"中编辑。虚拟机开机后，将得到一个虚拟ip地址，与主机虚拟网卡构成一个网络。Linux查看网关主机通过网关连接到互联网，Linux查看网关的指令：# routeLinux查看ip指令：# ifconfigLinux配置静态ip编辑文件/etc/sysconfig/networ
2020-05-26 17:14:32
199
原创 Linux笔记——磁盘分区、挂载和使用空间查询
一、两种分区方式mbr分区：传统的分区方式，兼容性好，只支持4个主分区，最大2TBgpt分区：支持无限主分区二、Linux分区原理Linux系统使用载入的处理方式增加分区，但无论有多少分区，Linux只有一个根目录、一个独立且唯一的文件结构。Linux系统一切皆文件，通过挂载，将一个分区和一个目录进行对应。Linux硬盘分IDE硬盘（旧）和SCSI硬盘（新）。IDE硬盘的驱动器标识符为"hdx~"，SCSI硬盘的驱动器标识符为"sdx~"，x表示盘号（a:基本盘，b:从属盘，c:辅助主盘，d
2020-05-26 10:14:01
302
原创 Linux笔记——文件权限管理
一、概述权限是指某个特定的用户具有特定的系统资源使用权力，Linux中包含三种身份：owner、group、othersroot用户在所要用户中拥有最高权限。二、权限十位字符表示含义第1位：文档类型：符号含义d文件夹-文件l软链接s套接字d块文件c字符设备【鼠标、键盘】第2-4位：文档所有者的权限情况位数作用符号含义第2位表示读权限的情况r表示可读，-表示不可读；第3位表示写权限的情况w表示可写，-
2020-05-25 16:42:43
213
原创 虚拟机网络连接的三种方式
1.桥接模式桥接模式需要手工为虚拟系统配置IP地址、子网掩码。特点是虚拟机和宿主机器处于同一网段。但是由于ip地址有限，因此该模式容易导致ip冲突。2.NAT模式即network address translation，网络地址转换模式。虚拟机得到一个虚拟ip地址，不再和宿主机器处于同一网段。该虚拟机可以借组宿主机器的ip访问公网。3.仅主机模式直接给虚拟机分配一个公网ip，该虚拟机相...
2020-04-07 16:03:00
829
原创 PyTorch导入报错：ValueError: module functions cannot set METH_CLASS or METH_STATIC
import torchTraceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\app\Anaconda3\envs\ABSA-PyTorch-master\lib\site-packages\torch\__init__.py", line 20, in <module> from torch._C import *ValueError: module functions c
2020-01-30 19:44:37
7579
2
原创 conda常用的基础命令
查看版本、升级conda、查看所有环境、创建指定Python版本的环境、进入某一环境、查看当前环境所有包、查看指定环境所有包、为指定环境安装某个包、退出当前环境、删除指定环境。
2020-01-26 10:09:29
303
原创 Scala基础语法详解
Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性.Scala 运行在Java虚拟机上，并兼容现有的Java程序.Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。
2019-12-12 15:07:43
1181
mysql-5.7.28-winx64.msi
2020-01-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人