weixin_30621919的博客

　　直接贴代码把注入参数的注解加到set方法上面去即可。因为这是一个工具类用到的config，所以一开始没有加@Component，还是依然为空，加上之后就正常能注入了转载于:https://www.cnblogs.com/KAI0725/p/11328864.html...

yum 安装本来是个很简单的事情，只是网上的教程一般不全，每次装每次都踩坑，必须做个笔记了。具体安装过程请自行百度，一堆异常记录1. 明明按教程一步步安装完了，仍然报错There was a problem importing one of the Python modulesrequired to run yum. The error leading...

我们在部署 flask、django 等 python web 框架时，网上最多的教程就是 nginx+gunicorn/uwsgi 的部署方式，那为什么要这么部署呢，本文就来系统地解释这个问题。必备概念WSGI这里必须要知道的一个概念，WSGI，web service gateway interface，网络服务网关接口它不是 web server，也不是 web...

spark 简介建议先阅读我的博客大数据基础架构spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。spark 由 scala 语言开发，他能够和 scala 完美结合，同时实现了 java、python、R 等接口。...

shell 命令操作 hadoop 之前多少提及过，这里做个总结。shell with hdfs基本命令bin/hadoop fs 大于下面的命令bin/hdfs dfs dfs 是 fs 的实现类shell 操作 hadoop 就是 上面的命令 加 “-” 再加 linux 命令常用命令sbin/start-dfs.sh...

阅读此文前建议先阅读我的博客gunicorn 是一个 python wsgi http server，只支持在 unix 系统上运行安装gunicorn 其实是 python 的一个包，安装方法同一般包的安装pip install gunicorn也可 tar 包安装安装完毕可用如下命令检测[root@node bin]# gunic...

mapreduce 完整流程解析1. 在客户端启动一个 job；hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -files tmp/example1/mapper.py,tmp/example1/reducer.py -mapper 'python mapper.py' -reducer ...

写代码经常会听说一些名词，比如 性能分析、代码调优。cProfile 是 python 代码调优的一种工具，它能够统计在整个代码执行过程中，每个函数调用的次数和消耗的时间。这个工具虽然很常用，但是没必要花太多时间研究这个工具，简单使用就能达到效果，所以我这里只简单记录下核心用法。两种使用方式cProfile.run('func(arg)') # 调...

python with hdfshdfs 可以在 linux 本地操作bin/hdfs dfs -ls /foo但是这种只能在 命令行 操作。通常我们需要在程序中实现远程操作，python 是可以的。需要用到一个模块 snakebite，目前仅支持 python2snakebite 有两种方式远程操作 hdfs，一种是通过命令行，这里不做介绍，另一种是...

hadoop1.x 和 hadoop2.x 区别HDFS分布式存储优点缺点MapReduce分布式计算详见我的博客mapreduceYARN计算资源管理器主要了解两个组件ResourceManager：管理整个集群的计算资源NodeManager：管理单个节点的计算资源转载于:htt...

什么是 nginxnginx 是一款高性能的 http 服务器，反向代理服务器，电子邮件（IMAP/POP3）代理服务器；它的特点就是高性能，占用内存少，支持高并发，运行稳定；官方测试 可支持 5万 的并发量；nginx 的用途nginx 可以用于多种场景，最常用的是反向代理，其他场景也需要反向代理实现http 服务器：nginx 是一个 http 服务器，...

转载于:https://www.cnblogs.com/yanshw/p/11547522.html

非主业，只做简单介绍虚拟机安装完毕后，需要进行网络配置。虚拟机有 3 种网络连接方式：仅主机模式 Host-only：仅支持 虚拟机与宿主机之间进行通信，无法连接外网桥接模式 bridge：可连接外网网络地址转换 NAT 模式：可连接外网NAT网络地址转换，network address translate配置逻辑虚拟机创建成...

由于篇幅较大，废话不多说，直奔主题。hadoop 安装同样可分为 单机模式、伪分布式、完全分布式本文主要介绍完全分布式，环境 centos 6.5，hadoop-2.6.5第一步：配置好 4 台虚拟机或者物理机，具体步骤参考我的其他博客第二步：查看主机名，并修改　　　　　　　　　　【务必记住修改主机名的方法，很多地方要用，不过不同版本方法不同】[...

许久没玩虚拟机了，密码忘记了，网上找了个教程，亲测有效，这里做个简单记录1. 右键虚拟机名称 --> 电源 --> 重新启动客户机2. 在如下界面，按 e 键，edit，注意先点击下屏幕使得光标在虚拟机上3. 进入如下界面，继续按 e4. 进入如下界面，方向键选择 kernel 开头的行，继续按 e5. 进入如下界面，在末尾加上 空格 ...

kafka 最初由 Linkedin 公司开发，是一个 分布式、支持分区、多副本的，基于 zookeeper 协调的分布式发布订阅消息系统，该公司在 2010 年将 kafka 贡献给 apache 基金会，1年后升级为顶级项目。kafka 由 scalar 语言编写， 并提供了多种语言的接口。kafka 特性kafka 是一个分布式系统，天然具有分布式的所有优势。...

本文解决线程控制的2个场景1. 线程延时：延迟一定时间，再执行后续程序2. 两个线程，当一个线程执行时间超过规定时间时，执行另一个线程场景1：定时器具体参考 我的博客 后续会写场景2：继承多线程基类DelayAction：重写 run 方法，在 run 中延迟DelayAction2：重写 run 方法，在 run 中延迟，并获取输出...

本文记录了 Python 编程中各种提速的小技巧，注意只记录小技巧。列表解析 VS 生成器优先选择 生成器time.clock()[i for i in range(10000000)] # 1.04134576438(i for i in range(10000000)) # 0.179256006437pr...

单机安装1. 安装 java2. 安装 zookeeper　　　　【这一步可以没有，因为 kafka 自带了 zookeeper】3. 安装 kafka下载链接kafkakafka 是 scalar 开发的，解压后的版本有两个，第一个是 scalar 版本，第二个是 kafka 版本，注意一定要比较新的版本。解压启动 zookeeper 服务；如果使用 k...

远程连接 kafka 配置默认的 kafka 配置是无法远程访问的，解决该问题有几个方案。方案1advertised.listeners=PLAINTEXT://IP:9092注意必须是 ip，不能是 hostname方案2advertised.listeners=PLAINTEXT://node0:9092node0 是 hostnam...