lwh_space

转载 linux常用命令

Linux命令常用结构 ：Command [-option] [argument]Command：即是要运行的命令的本身，说白了就是一个软件（程序）；Option：是选项（可选），选项是控制命令运行状态和行为的（可多个选项一起，如df -hT）；Argument：是参数（可选），是命令要操作对象如文件、路径、数据、目录等；在指令的第一部分按[tab]键一下为[命令补全]，两下为所有命令选择...

原创 ubuntu下docker安装跟基础使用命令

以下所有命令都是顺序进行###########################################ubuntu下安装docker安装 sudo apt-get install docker.iodocker下安装环境 docker pull 安装软件名称 例安装ubuntu：docker pull ubuntu查看镜像 sudo docker image ls创...

转载 Spark大数据计算引擎介绍

本文内容参考《Spark与Hadoop大数据分析》[美]文卡特·安卡姆 著；《大数据架构详解 从数据获取到深度学习》 朱洁 罗华霖 著。大数据生态的两个主要部分是Hadoop软件框架和Spark内存级计算引擎。Hadoop包含四个项目：Hadoop common，HDFS，YARN和MapReduce。HDFS用于存储数据，HDFS文件被划分成区块分布在集群上；用于管理集群资源（CPU和内存...

转载 spark深度理解RDD结构

RDDRDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，自然也是理解Apache Spark 工作原理的最佳入口之一。RDD的特点：是一个分区的只读记录的集合；一个具有容错机制的特殊集；只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建；可以分布在集群的节点上，以函数式操作集合的方式，进行各种并行操作...

转载 HDFS

简述HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Lar...

转载 python3中的uuid模块

一、uuid简介UUID: 通用唯一标识符 ( Universally Unique Identifier ), 对于所有的UUID它可以保证在空间和时间上的唯一性. 它是通过MAC地址, 时间戳, 命名空间, 随机数, 伪随机数来保证生成ID的唯一性, 有着固定的大小( 128 bit ). 它的唯一性和一致性特点使得可以无需注册过程就能够产生一个新的UUID. UUID可以被用作多种用途, ...

原创 广度优先算法

广度优先搜索（适合找出最短路径）‘’‘例：在朋友关系图中，找出自己需要的人’’’附图片：from collections import dequedef search(name): #创建队列(先进先出) search_queue = deque() #把当前人名的第一度关系朋友加入队列 search_queue += graph[name]...

原创 k8s理解

K8s各组件理解:Master节点：Controller Manager 运行控制器，分为（Replication Controller，Node Controller，Endpoints Controller，Service Account）Scheduler 调度资源(监视未创建节点的新创建的pod，并选择一个节点供其运行)Replication Controller 复制控制器，负责...

转载 ubuntu16.04使用ssh生成秘钥公钥

ubuntu 16.04如何生成ssh key以及如何查看ssh key检查本地是否有SSH Key存在在终端输入ls -al ~/.ssh如果输出的是：No such file or directory那就没有ssh key如果有就会出现这样：生成新的SSH key首先在终端输入ssh-keygen -t rsa -C "your_email@example.com"you...

转载 Django解决迁移冲突,migrate/migrations

#转载Migrantion 是 Django 最有用的的特性之一，但是对于我来说改变 Model 这是一个很可怕的任务。尽管能够阅读文档，我仍然很害怕 migration 的冲突或者丢失数据，或者需要手动处理 migration 文件，或者这样那样的事情。事实上，一旦理解它们，migration 是很酷的、很有用的。关于以上的问题你将不会有任何疑问。翻译自 Oana Ratiu 的《Djang...

原创 redis操作操作命令

1.启动redis服务端和客户端服务端启动: redis-server客户端启动: redis-cli2.redis操作之string类型增加(设置)数据1.单个键值对: set key value2.多个键值对,有效期: setex key second value3.设置多个键值对: mset key1 value1 key2 value2 …4.追加值: append key...

原创 Python中sys模块使用

部分重要函数import sys查看sys模块中的函数import sysprint(dir(sys))实现从程序外部向程序传递参数，输出结果是字符串列表,当前文件的名称始终为第一个参数print(sys.argv)输出包含模块目录名的路径列表，其中第一位参数始终为当前文件的路径可以使用sys.path.append(‘自定义路径’)添加自定义路径print(sys.path)...

原创 python中os模块的使用

import osimport sys得到当前目录路径print(os.getcwd())不指定目录，即当前目录下的所有文件目录名称print(os.listdir(’…/A’))删除指定文件print(os.remove(’…/a/c.txt’))删除指定目录(必须为空)print(os.rmdir(’…/a’))创建目录(一层)print(os.mkdir(’…/A’))...

转载 什么是k8s,了解k8s各个组件的功能

转载至http://www.dockone.io/article/932什么是Kubernetes？Kubernetes（k8s）是自动化容器操作的开源平台，这些操作包括部署，调度和节点集群间扩展。如果你曾经用过Docker容器技术部署容器，那么可以将Docker看成Kubernetes内部使用的低级别组件。Kubernetes不仅仅支持Docker，还支持Rocket，这是另一种容器技术。...

原创 分布式跟集群的区别，作用

原创 git(多人/团队)开发命令

克隆项目git clone 项目地址查看分支git branch查看远程分支git branch -a查看远程分支具体信息git branch -av查看当前分支详细信息git branch -vv切换分支git checkout 要切换分支名创建并切换分支git checkout -b 分支名关联远程分支git checkout -b 本地分支名(不能...

原创 负载均衡的介绍？

转载https://blog.csdn.net/hbmovie/article/details/80940693负载均衡是高可用网络基础架构的关键组件，通常用于将工作负载分布到多个服务器来提高网站、应用、数据库或其他服务的性能和可靠性。一个没有负载均衡的 web 架构类似下面这样：在这里用户是直连到 web 服务器，如果这个服务器宕机了，那么用户自然也就没办法访问了。另外，如果同时有很多...

转载 Apache Hadoop中的模块

什么是Apache Hadoop？ Apache™Hadoop®项目为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算...

原创 了解Apache跟Apache Hadoop和Apache Spark的原理，应用；

Apache？Apache是世界使用排名第一的Web服务器软件。Apache Hadoop？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。HDFSHadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS...

原创 NFS介绍，安装，使用

1. NFS介绍NFS-Network FileSystem的缩写，NFS是由Sun开发并发展起来的一项用于在不同机器，不同操作系统之间通过网络互相分享各自的文件。NFS server也可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中，在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。2. PC介绍...

原创 python知识汇总

python变量作用域 局部变量 ——>外层变量——>全局变量——>内置变量闭包 在不改变原有代码的前提下，增加业务功能（验证，校验......），根据外层函数的局部变量，可以得到不同的结果python代码执行流程 代码由python编译器，编译为电脑可执行代码，编译的结果保存在内存的pycodeobject中，当代码执行完毕，python解释器将pycodeo...