关于Spring注入参数到static静态参数失败问题处理。解决Autowired annotation is not supported on static fields的问题... 直接贴代码把注入参数的注解加到set方法上面去即可。因为这是一个工具类用到的config,所以一开始没有加@Component,还是依然为空,加上之后就正常能注入了转载于:https://www.cnblogs.com/KAI0725/p/11328864.html...
yum 安装 yum 安装本来是个很简单的事情,只是网上的教程一般不全,每次装每次都踩坑,必须做个笔记了。具体安装过程请自行百度,一堆异常记录1. 明明按教程一步步安装完了,仍然报错There was a problem importing one of the Python modulesrequired to run yum. The error leading...
nginx+gunicorn/uwsgi+python web 的前世今生 我们在部署 flask、django 等 python web 框架时,网上最多的教程就是 nginx+gunicorn/uwsgi 的部署方式,那为什么要这么部署呢,本文就来系统地解释这个问题。必备概念WSGI这里必须要知道的一个概念,WSGI,web service gateway interface,网络服务网关接口它不是 web server,也不是 web...
spark教程(一)-入门与安装 spark 简介建议先阅读我的博客大数据基础架构spark 一个通用的计算引擎,专门为大规模数据处理而设计,与 mapreduce 类似,不同的是,mapreduce 把中间结果 写入 hdfs,而 spark 直接写入 内存,这使得它能够实现实时计算。spark 由 scala 语言开发,他能够和 scala 完美结合,同时实现了 java、python、R 等接口。...
shell with hadoop shell 命令操作 hadoop 之前多少提及过,这里做个总结。shell with hdfs基本命令bin/hadoop fs 大于下面的命令bin/hdfs dfs dfs 是 fs 的实现类shell 操作 hadoop 就是 上面的命令 加 “-” 再加 linux 命令常用命令sbin/start-dfs.sh...
gunicorn 介绍与性能分析 阅读此文前建议先阅读我的博客gunicorn 是一个 python wsgi http server,只支持在 unix 系统上运行安装gunicorn 其实是 python 的一个包,安装方法同一般包的安装pip install gunicorn也可 tar 包安装安装完毕可用如下命令检测[root@node bin]# gunic...
hadoop-mapreduce 详解 mapreduce 完整流程解析1. 在客户端启动一个 job;hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -files tmp/example1/mapper.py,tmp/example1/reducer.py -mapper 'python mapper.py' -reducer ...
高效编程之 cProfile 性能分析 写代码经常会听说一些名词,比如 性能分析、代码调优。cProfile 是 python 代码调优的一种工具,它能够统计在整个代码执行过程中,每个函数调用的次数和消耗的时间。这个工具虽然很常用,但是没必要花太多时间研究这个工具,简单使用就能达到效果,所以我这里只简单记录下核心用法。两种使用方式cProfile.run('func(arg)') # 调...
python with hadoop python with hdfshdfs 可以在 linux 本地操作bin/hdfs dfs -ls /foo但是这种只能在 命令行 操作。通常我们需要在程序中实现远程操作,python 是可以的。需要用到一个模块 snakebite,目前仅支持 python2snakebite 有两种方式远程操作 hdfs,一种是通过命令行,这里不做介绍,另一种是...
hadoop-组件 hadoop1.x 和 hadoop2.x 区别HDFS分布式存储优点缺点MapReduce分布式计算详见我的博客mapreduceYARN计算资源管理器主要了解两个组件ResourceManager:管理整个集群的计算资源NodeManager:管理单个节点的计算资源转载于:htt...
Nginx教程(一)-全面认知 什么是 nginxnginx 是一款高性能的 http 服务器,反向代理服务器,电子邮件(IMAP/POP3)代理服务器;它的特点就是高性能,占用内存少,支持高并发,运行稳定;官方测试 可支持 5万 的并发量;nginx 的用途nginx 可以用于多种场景,最常用的是反向代理,其他场景也需要反向代理实现http 服务器:nginx 是一个 http 服务器,...
虚拟机Vmware-网络配置 非主业,只做简单介绍虚拟机安装完毕后,需要进行网络配置。虚拟机有 3 种网络连接方式:仅主机模式 Host-only:仅支持 虚拟机与宿主机之间进行通信,无法连接外网桥接模式 bridge:可连接外网网络地址转换 NAT 模式:可连接外网NAT网络地址转换,network address translate配置逻辑虚拟机创建成...
hadoop-集群搭建 由于篇幅较大,废话不多说,直奔主题。hadoop 安装同样可分为 单机模式、伪分布式、完全分布式本文主要介绍完全分布式,环境 centos 6.5,hadoop-2.6.5第一步:配置好 4 台虚拟机或者物理机,具体步骤参考我的其他博客第二步:查看主机名,并修改 【务必记住修改主机名的方法,很多地方要用,不过不同版本方法不同】[...
linux 忘记密码 许久没玩虚拟机了,密码忘记了,网上找了个教程,亲测有效,这里做个简单记录1. 右键虚拟机名称 --> 电源 --> 重新启动客户机2. 在如下界面,按 e 键,edit,注意先点击下屏幕使得光标在虚拟机上3. 进入如下界面,继续按 e4. 进入如下界面,方向键选择 kernel 开头的行,继续按 e5. 进入如下界面,在末尾加上 空格 ...
kafka 教程(四)-原理进阶 kafka 最初由 Linkedin 公司开发,是一个 分布式、支持分区、多副本的,基于 zookeeper 协调的分布式发布订阅消息系统,该公司在 2010 年将 kafka 贡献给 apache 基金会,1年后升级为顶级项目。kafka 由 scalar 语言编写, 并提供了多种语言的接口。kafka 特性kafka 是一个分布式系统,天然具有分布式的所有优势。...
线程控制-延时与守护 本文解决线程控制的2个场景1. 线程延时:延迟一定时间,再执行后续程序2. 两个线程,当一个线程执行时间超过规定时间时,执行另一个线程场景1:定时器具体参考 我的博客 后续会写场景2:继承多线程基类DelayAction:重写 run 方法,在 run 中延迟DelayAction2:重写 run 方法,在 run 中延迟,并获取输出...
高效编程之 小技巧归纳 本文记录了 Python 编程中各种提速的小技巧,注意只记录小技巧。列表解析 VS 生成器优先选择 生成器time.clock()[i for i in range(10000000)] # 1.04134576438(i for i in range(10000000)) # 0.179256006437pr...
Kafka 教程(二)-安装与基础操作 单机安装1. 安装 java2. 安装 zookeeper 【这一步可以没有,因为 kafka 自带了 zookeeper】3. 安装 kafka下载链接kafkakafka 是 scalar 开发的,解压后的版本有两个,第一个是 scalar 版本,第二个是 kafka 版本,注意一定要比较新的版本。解压启动 zookeeper 服务;如果使用 k...
kafka 教程(三)-远程访问 远程连接 kafka 配置默认的 kafka 配置是无法远程访问的,解决该问题有几个方案。方案1advertised.listeners=PLAINTEXT://IP:9092注意必须是 ip,不能是 hostname方案2advertised.listeners=PLAINTEXT://node0:9092node0 是 hostnam...