Z_Data的博客

进程：Linux系统上所有运行的任务都可以称之为一个进程，每个用户任务、每个应用程序或服务也都可以称之为进程，Ubuntu也不例外。对于管理员来说，没有必要关心进程的内部机制，而是要关心进程的控制管理。管理员应经常查看系统运行的进程服务，对于异常和不需要的进程，应及时将其结束，让系统更加稳定地运行。

Linux操作系统的Shell作为操作系统的外壳，为用户提供使用操作系统的接口。它是命令语言、命令解释程序及程序设计语言的统称。Shell是用户和Linux内核之间的接口程序，如果把Linux内核想象成一个球体的中心，Shell就是围绕内核的外层。当从Shell或其他程序向Linux传递命令时，内核会做出相应的反应。Shell是一个命令语言解释器，它拥有自己内建的Shell命令集，Shell也能被系统中的其他应用程序所调用。用户在提示符下输入的命令都先由Shell解释再传给Linux核心。

Scala安装步骤详解：1.在网页上运行Scala 2.在Windows系统上安装scala 3.在Linux和macOS系统上安装Scala 4.在软件中安装scala插件 1.下载与安装IDEA 2.scala插件的安装与使用 3.安装完成后测试scala插件

上周，我写了⼀篇给Python学习者的⽂件读写指南，跟⼤家⼀起详尽地学习了⽂件读写的基础内容，以及 with语句与上下⽂管理器的进阶知识。 这份指南虽然写得很⽤⼼，但是因为只关注了⽂件读写的核⼼内容，所以也有美中不⾜不处，有些在实战 中所需的知识点没有谈到，例如，为了能够进⾏⽂件读写，⾸先得找到⽂件、⽂件得可读写才⾏。 我们知道当⽂件不存在的时候，open()⽅法的写模式与追加模式都会新建⽂件，但是对⽂件进⾏判断的场 景还有很多，⽐如，在爬⾍下载图⽚的时候，可能需要判断⽂件是否存在...

今天带⼤家学学 Python 中操作 JSON 的知识。学完本⽂，你可以学到如下内容：1、JSON 是什么？2、JSON 与 XML 的优劣差异？3、将 Python 对象编码成 JSON 字符串4、将已编码的 JSON 字符串解码为 Python 对象5、解决 JSON 中⽂乱码问题JSON 是什么？JSON 的全称是 JavaScript Object Notation，是⼀种轻量级的数据交换格式。最初，JSON 只是JavaScript...

这篇文章主要给大家总结介绍了关于Python拼接字符串的7种方法，分别是来自C语言的%方式、format()拼接方式、() 类似元组方式、面向对象模板拼接、join()拼接方式以及f-string方式，文中通过示例代码介绍的非常详细，需要的朋友可以参考下在Python中，我们经常会遇到字符串的拼接问题，几乎任何一种编程语言，都把字符串列为最基础和不可或缺的数据类型。而拼接字符串是必备的一种技能。1、来自C语言的%方式#字符串拼接——占位符print('%s,%s'%('hello','...

目录grep简介实际使用小结sedawk名字由来强大的文本处理工具语法域模式&动作结合正则复合表达式printf 格式化输出内置变量内置函数awk脚本grep、sed、awk我们叫他们三剑客，掌握它们可以更好的运维，提升工作效率，即使不是运维，对我们处理数据都是非常方便的～就很多数据处理来讲，写程序肯定是也能处理的，但是远没有已经存在特定功能的命令更高效，我们只需要操作命令即可。grep简介grep是一款强.

目录1、二进制2、布尔逻辑3、NOT4、AND5、OR6、XOR今天我们开始讲"抽象"，不用管底层细节，把精力用来构建更复杂的系统。1、二进制上一讲，我们讲了计算机最早是机电设备，一般用十进制计数——比如用齿轮数来代表十进制，再到晶体管计算机。幸运的是，只用 开/关 两种状态也可以代表信息，这叫 二进制——意思是"用两种状态表示"。就像自行车有两个轮，双足动物有两条腿，你可能觉得两种状态不多，你是对的！但如果只需要表示 true 和 false，两个值就够了。电路闭合，电

目录1、最大的机电计算机之一——哈佛 Mark 1 号2、继电器3、继电器出“bug”4、热电子管——第一个真空管5、三极真空管6、"巨人1号" 计算机——首次大规模使用真空管7、ENIAC ——第一个通用可编程计算机8、晶体管9、“硅谷”——肖克利半导体 → 仙童半导体 → 英特尔提到的设备：继电器 → 真空管 → 晶体管上一讲讲到 20 世纪初，当时的早期计算设备都针对特定用途 比如 制表机，大大推进了政府和企业。它们帮助, 甚至代替了人工，然而人类社会的规.

目录1. date命令2. free 命令3. kill 命令4. ps 命令5. rpm 命令6. top 命令7. yum 命令1. date命令显示或设定系统的日期与时间。命令参数：-d<字符串> 　显示字符串所指的日期与时间。字符串前后必须加上双引号。-s<字符串> 　根据字符串来设置日期与时间。字符串前后必须加上双引号。-u 　显示GMT。%H 小时(00-23)%I 小时(00-12)%M 分钟(以00-59来

目录1. ifconfig 命令2. iptables 命令3. netstat 命令4. ping 命令5. telnet 命令1. ifconfig 命令ifconfig 用于查看和配置 Linux 系统的网络接口。查看所有网络接口及其状态：ifconfig -a 。 使用 up 和 down 命令启动或停止某个接口：ifconfig eth0 up 和 ifconfig eth0 down 。2. iptables 命令iptables ，是一个配置 ...

目录1. cd 命令2. df 命令3. du 命令4. ls命令5. mkdir 命令6. pwd 命令7. rmdir 命令1. cd 命令cd(changeDirectory) 命令语法：cd [目录名]说明：切换当前目录至 dirName。实例：（1）进入要目录cd /（2）进入 “home” 目录cd ~（3）进入上一次工作路径cd -（4）把上个命令的参数作为cd参数使用。cd !$2. df 命令显示

目录1. grep 命令2. wc 命令1. grep 命令强大的文本搜索命令，grep(Global Regular Expression Print) 全局正则表达式搜索。grep 的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响原文件内容。命令格式：grep [option] pattern file|dir常用参数：-A n --after-context显示匹.

目录1. cat 命令2. chmod 命令3. chown 命令4. cp 命令5. find 命令6. head 命令7. less 命令8. ln 命令9. locate 命令10. more 命令11. mv 命令12. rm 命令13. tail 命令14. touch 命令15. vim 命令16. whereis 命令17. which 命令1. cat 命令cat 命令用于连接文件并打印到标准输出设备上。cat 主要

目录1. 如何选择 Linux 操作系统版本?2. 如何规划一台 Linux 主机，步骤是怎样？3. 请问当用户反馈网站访问慢，如何处理？有哪些方面的因素会导致网站网站访问慢？- 针对网站访问慢，怎么去排查？- 怎么去解决？4. Linux 性能调优都有哪几种方法？1. 如何选择 Linux 操作系统版本?一般来讲，桌面用户首选 Ubuntu ；服务器首选 RHEL 或 CentOS ，两者中首选 CentOS 。根据具体要求：·安全性要求较高，则选择 Debian .

[root@~]## cat -n /tmp/input.txt 1 000011111222 2 3 000011111222222 4 11111000000222 5 6 7 111111111111122222222222 8 2211111111 9 112222222 10 1122 11 ## 删除所有空行命令[root@~]## sed '/^$/d' /tm...

1. Shell 脚本是什么？一个 Shell 脚本是一个文本文件，包含一个或多个命令。作为系统管理员，我们经常需要使用多个命令来完成一项任务，我们可以添加这些所有命令在一个文本文件(Shell 脚本)来完成这些日常工作任务。- 什么是默认登录 Shell ？在 Linux 操作系统，"/bin/bash" 是默认登录 Shell，是在创建用户时分配的。使用 chsh 命令可以改变默认的 Shell 。示例如下所示：## chsh <用户名> -s <新shell>

三、安全1. 一台 Linux 系统初始化环境后需要做一些什么安全工作？1、添加普通用户登陆，禁止 root 用户登陆，更改 SSH 端口号。 修改 SSH 端口不一定绝对哈。当然，如果要暴露在外网，建议改下。 2、服务器使用密钥登陆，禁止密码登陆。 3、开启防火墙，关闭 SElinux ，根据业务需求设置相应的防火墙规则。 4、装 fail2ban 这种防止 SSH 暴力破击的软件。 5、设置只允许公司办公网出口 IP 能登陆服务器(看公司实际需要)...

一、找到python > pip安装路径首先我们找到python安装路径，我们知道我们曾经设置过python的环境变量，找到它，里面有我们想要的python安装路径。 可以在windows左下角搜索高级系统设置，打开系统属性界面：可以看到，python安装路径已得知，pip即在对应Scripts目录下：​ 记住该路径，使用win+R进入cmd界面二、cmd命令安装首先用cd：Scripts路径名命令，进入到Scripts...

目录二、磁盘、目录、文件1. 简单 Linux 文件系统？2. Linux 的目录结构是怎样的？3. 什么是 inode ？4. 什么是硬链接和软链接？5. RAID 是什么?二、磁盘、目录、文件1. 简单 Linux 文件系统？在 Linux 操作系统中，所有被操作系统管理的资源，例如网络接口卡、磁盘驱动器、打印机、输入输出设备、普通文件或是目录都被看作是一个文件。也就是说在 Linux 系统中有一个重要的概念**：一切都是文件**。其实这是 Unix 哲学的一个体

目录1. 什么是Linux2. Unix和Linux有什么区别？1. 开源性2. 跨平台性3. 可视化界面4. 硬件环境5. 用户群体3. 什么是 Linux 内核？4. Linux的基本组件是什么？5. Linux 的体系结构6. BASH和DOS之间的基本区别是什么？7. Linux 开机启动过程？8. Linux系统缺省的运行级别？9. Linux 使用的进程间通信方式？10. Linux 有哪些系统日志文件？11. Linux系统安装多

三、安全1. 一台 Linux 系统初始化环境后需要做一些什么安全工作？1、添加普通用户登陆，禁止 root 用户登陆，更改 SSH 端口号。 修改 SSH 端口不一定绝对哈。当然，如果要暴露在外网，建议改下。 2、服务器使用密钥登陆，禁止密码登陆。 3、开启防火墙，关闭 SElinux ，根据业务需求设置相应的防火墙规则。 4、装 fail2ban 这种防止 SSH 暴力破击的软件。 5、设置只允许公司办公网出口 IP 能登陆服务器...

提到的设备：算盘 → 步进计算器 → 差分机 → 分析机 → 打孔卡片制表机提到的人名：Charles Babbage, Ada Lovelace欢迎来到计算机科学讲堂！在这个系列中，我们会学习 Bits(位)，Bytes(字节)，晶体管, 逻辑门，一直到操作系统，虚拟现实和机器人!你要学很多东西，但预先说明：我们 *不会* 教你怎么编程。我们会从高层次上纵览一系列计算机话题。计算机是当今世界的命脉，如果突然关掉所有的计算机，电网会关闭，车辆会相撞，飞机会坠毁，净水厂会关闭，证券市场会停止运作.

1、python --version 查看安装的Python版本，　　pip --version 查看安装的pip版本，　　升级pip命令：python-mpipinstall--upgradepip　　如果已经下载了安装文件就使用：pip install 文件名　　如果没有下载就使用：python-mpipinstall--user 模块名，系统自动下载2、如果没有安装pip，先安装pip网址是：https://pypi.org/project/pip...

业界优秀的系统清理工具虽被某丁代理了，但免费版依然很香！电脑使用久了就会存在大量的缓存，几乎每位使用电脑的用户都会使用清理软件，清理软件的应用的重要性也就不言而喻了。市面上也有很多清理工具，比如Wise Care 365 Pro、CCleaner、Advanced SystemCare Pro、360安全卫士等等。但是呢很多清理软件，其实功能也比较完善，就是广告太多，全家桶捆绑严重，不定时弹窗，顺带劫持浏览器主页。理想的清理软件，运行占用资源低，干净无广告，无需注册，可...

** 集群安装**Zookeeper使用java编写，运行在jvm上，所以需要提前安装并配置好好java环境，推荐Oracle jdk1.7及以上版本。官网：http://zookeeper.apache.org/下载地址：http://apache.opencas.org/zookeeper/ 从官方网站上下载tar.gz包，我们这里使用的是：zookeeper-3.4.7.tar.g...

1 eclipse环境配置普通的java项目创建一个java项目依赖的jar包zookeeper-3.4.7\lib下的 jline-0.9.94.jar log4j-1.2.15.jar netty-3.2.2.Final.jar slf4j-api-1.6.1.jar slf4j-log4j12-1.6.1.jarzookeeper-3.4.7\zookeeper-3....

概述：1.了解HADOOP产生背景及HADOOP生态圈2.体会HADOOP和大数据、云计算等概念之间的关系3.了解HADOOP的相关应用案例4.了解分布式系统的概念首次接触大数据框架，总体是让学生建立起大数据和分布式的感性认识和宏观概念1、理解hadoop是什么，它的应用场景什么，大体上怎么用2、通过一个案例的演示说明，理解数据挖掘系统的基本流程和结构第一节：HADOOP...

TOP N数据：hello qianfeng hello qianfeng qianfeng is best qianfeng better hadoop is goodspark is nice取统计后的前三名： qianfeng 4 is 3 hello 2import java.io.IOException;import java.util.Array...

2.4.1&amp;nbsp;概述1）mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；2）shuffle:&amp;nbsp;洗牌、发牌（核心机制：数据分区、排序、缓存）；3）具体来说：就是将maptask输出的处理结果数据，分发给reducetas...

MapReduce数据类型都实现了Writable接口，以便用这些类型定义的数据可以被序列化进行网络传输和文件存储基本数据类型： BooleanWriable：标准布尔型数 ByteWriable：单字节数 DoubleWriable：双字节数值 FloatWriable：浮点数 IntWriable：整型数 LongWriable：长整...

重写Writable接口如下代码就是自定义mr数据类型，在wordcount类使用它。WordCountWritableimport java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;/** * 自定义wc...

自定义数据WCDataimport java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;/** * 自定义数据类型 * @author lyd * */public class WCData...

1 HDFS的基本使用查看集群状态 1、打开web控制台查看HDFS集群信息，在浏览器打开http://192.168.18.64:50070/2、使用命令查看：hdfs dfsadmin -report使用shell命令操作hdfs 从HDFS下载文件hadoop fs -get /wordcount/input/wordcount_content.txt #下...

目录 1 、HDFS的介绍2、 HDFS设计目标3、 HDFS的特点4、 hdfs核心设计思想及作用5、 重要特性如下：1 、HDFS的介绍源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 ，HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统，运行在大量普通廉价机器上，提供容错机制，为大...

1、 HDFS shell操作HDFS提供shell命令行客户端，使用方法如下：2 、命令行客户端支持的命令参数[-appendToFile &lt;localsrc&gt; ... &lt;dst&gt;]​ [-cat [-ignoreCrc] &lt;src&gt; ...]​ [-checksum &lt;src&gt; ...]​ [-chgrp [-R] G...

1 、HDFS概述 HDFS集群分为两大角色：NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块block 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本，并存放在不同的datanode上 Da...

自定义数据类型SSData import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class SSData implements WritableComparable&lt;...

待处理数据 内容如下 二次排序：23 32123 29023 56778 65078 55478 75616 1816 1616 159 89 09 3处理后的数据 内容如下 输出数据：-----------9 8-----------16 18----------23 567-----------78 756MapReduce类Find...

目录1、下载winutils的windows版本https://github.com/SweetInk/hadoop-common-2.7.1-bin2、解压 hadoop-2.7.1.tar.gz 到windows指定的目录。如（D:\java\hadoop-2.7.1）3、配置环境变量4、压缩包（hadoop-common-2.7.1-bin-master.zip）里的hado...