幸福诗歌的博客

1 安装hadoop下载hadoop下载地址下载之后解压，然后下载winutils对应hadoop版本替代hadoop/bin目录配置环境：在路径…\hadoop-2.8.3\etc\hadoop下修改文件(1) core-site.xml（配置默认hdfs的访问端口）<configuration> <property> <na...

1 原理布隆过滤器的原理及数学推导可以参考：https://www.cnblogs.com/xiaohuiduan/p/11488020.html2 python demo实现from bitarray import bitarray# 3rd partyimport mmh3class BloomFilter(set): def __init__(self,...

1.定时任务代码#!/user/bin/env python#定时执行任务命令import time,os,schedschedule = sched.scheduler(time.time,time.sleep)def perform_command(cmd,inc):os.system(cmd)print('task')def timming_exe(...

首先需要安装 PyKafka：$ pip install pykafka连接kafka,默认端口9092>>> from pykafka import KafkaClient>>> client = KafkaClient(hosts="127.0.0.1:9092")查看主题：client.topics选择一个自定义top...

1.git:日常开发协同git用的比较多，向仓库提交代码等等一个有趣的学习git操作的网站：https://learngitbranching.js.org/首先windows上，需要先下个git，然后在本地克隆仓库git clone https://github.com/你的用户名/项目仓库名.git（在下图仓库克隆处复制地址）在将本地仓库上传到github之前，...

Shell 简单介绍Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。S...

什么是中间件？中间件是为应用提供操作系统功能以外服务的多功能软件。任何位于内核和用户应用之间的软件都可以是中间件。分析师兼系统理论家Nick Gall 表示："中间件是软件用的软件。" 中间件不具有传统应用的功能，只负责将软件与其他软件衔接。中间件就相当于您 IT 基础架构的输水管，让数据能从一个应用流动到另一个中。例如，Apache Kafka是一款开源中间件，能够为您的应用提...

Liunx ------- 基于Ubuntu系统bashshellmoye@moye-Lenovo-G50-70m:~$启动shell的用户名 当前虚拟控制台编号 当前目录man bash:查看bash的手册内容/bin:二进制目录，用于存储GNU用户级别的实用程序/boot：引导目录，存储引导文件/dev：设备目录，linux...

linux基础学习(2)------基于虚拟机上的Centos内核功能:进程管理内存管理文件系统网络功能硬件驱动安全机制Linux的基本原则:1、由目的单一的小程序组成；组合小程序完成复杂任务；2、一切皆文件； 把几乎所有资源统统抽象为文件形式:包括硬件设备，甚至通信接口等3、尽量避免捕获用户接口； 目标:易于以编程的方式实现自动化任务4、配...

//2017.3.27Mysql- u root – p:密码登陆mysql 数据库Show databases; 查看当前存在的数据库Create DATABASES name: 创建数据库DROPdatabase name:删除数据库SHOEENGINES \G:查看数据库存储引擎 创建表：USE 库名 ...