- 博客(22)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 公网服务器被AnXqV程序入侵，CPU跑满解决办法
前段时间在阿里云服务器上挂公司网站的时候发现操作很慢，用top命令看了下进程情况。如下图这个进程占了97.6%，而且不是我自己安装的，很明显是病毒。尝试手动查杀后发现过段时间还是会有，肯定是在有定时任务。果然有一个，马上执行crontab -r删除任务，并删除在/tmp目录下的可执行文件然后就可以了。最后吐槽下阿里云的售后，不解释直接让你做快照然
2017-02-07 14:43:26
2705
4
原创 fatal: --author ‘‘ is not ‘Name ＜email＞‘ and matches no existing author
在Idea中使用oschina的码云git仓库进行项目管理，但是在push项目的时候，总是报错找不到用户信息。 报错信息如下： 解决方式： 1.先到码云添加自己的公钥，生成方式点击查看，生成后复制添加到码云中即可。 2.在提交的时候直接输入用户名加邮箱即可成功提交。
2016-08-22 14:02:43
3798
1
原创 ueditor采用Spring MVC的方式整合七牛云实现上传图片、视频、附件等
Dubbo整合Zookeeper和Spring示例程序1.Dubbo架构本篇文章基于dubbox，使用dubbo应该也可以正常运行。我认为想讲清楚一个任何一个技术框架，首先熟悉架构是非常有必要的。这将对对整个架构的理解有非常大的帮助。 我们首先看看Dubbo的架构,这段摘抄自Dubbo官方文档 节点角色说明： Provider: 暴露服务的服务提供方。 Consumer: 调用远程服务的
2016-08-20 13:16:11
6452
8
原创 maven 亲测可用国内镜像 阿里云
maven阿里云中央仓库maven作为一个项目管理工具确实非常好用，但是在国内这个网络条件下实在是让人恼火。之前oschina的中央仓库可用，现在oschina的maven服务器关了，一直没找到国内镜像来替代。今天发现阿里云公开了一个中央仓库，大家可以试试。配置修改maven根目录下的conf文件夹中的setting.xml文件，内容如下： mirrors>
2016-08-12 09:07:44
123964
60
原创 Spring MVC 接收前端传递的表单json字符串
Spring MVC 接收前端传递的表单json字符串初衷在编写页面表单数据较多，并且很多input来自于循环，没有对应的Pojo类与之映射。在这种情况下，如果循环不是太多的话可以自己构建一个Pojo对象，然后使用SpringMVC的form标签进行绑定。但是表单过于复杂后这种方式代码就显得非常臃肿。所以采取在前端页面将表单数据拼接成json字符串，然后传递到controller，
2016-07-28 23:33:00
7860
4
原创 scrapy 写入json文件
pipelines.pyclass GuomeiPipeline(object): def __init__(self): self.file = codecs.open('aa.json', 'w', encoding='utf-8') def process_item(self, item, spider): line = json.
2016-07-12 09:28:33
2430
原创 hive常用命令
set hive.cli.print.header=true; 控制在cli中是否显示表的列名set hive.cli.print.current.db=true; 设置在cli中显示当前数据库名称 在hive cli中执行source 能执行file中的命令 -S 参数能以静默模式运行（只输出结果信息
2016-07-12 09:26:07
283
原创 hadoop2.x日志文件格式说明
hadoop 日志：默认在$HADOOP_HOME/logs.log 后缀：通过log4j记录的，记录大部分应用程序的日志信息.out 后缀：记录标准输出和错误日志，少量记录日志命名规则：【hadoop】-【hadoop】-【namenode】-【hadoop-yarn.dragon.org】.【log】 框架名称 用户
2016-07-12 09:24:43
299
原创 hadoop 2.x 编译
Hadoop 2.x 编译编译前准备 （hadoop_src/BUILDING.txt）Requirements:* Unix System* JDK 1.6+* Maven 3.0 or later (建议maven 3.0.5)* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.0
2016-07-12 09:23:19
311
原创 datanode集群新加硬盘
将硬盘挂载到指定目录，如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data node should store its bl
2016-07-12 09:20:53
378
原创 通过webdav协议将hdfs挂载到本地
hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。部署过程：（hadoop版本为1.2.1，使用高版本有一些问题）下载war包修改WEB-INF/classes/hadoop-site.xml，修改fs.default.name属性，以确定hdfs-webdav要连接的hadoop namenode ser
2016-07-12 09:19:45
1093
原创 hadoop 2.x 配置
软件的安装目录： /opt/ 安装: 0）说明 0、配置ssh面密码登录 ssh-keygen -t rsa 将公钥拷贝到需要访问的主机上 ssh-copy-id username@hostname g
2016-07-12 09:18:57
288
原创 通过nfs3将hdfs挂载到本地
1.启动hdfs start-dfs.sh (启动后使用jps查看进程是否启动) 2.执行 hdfs portmap start和 hdfs nfs3 start 使用jps查看portmap和nfs3是否启动 3.执行 mount -t nfs -o vers=3,proto=tcp,nolock 10.211.55.38:/ /hdfs
2016-07-12 09:18:12
622
原创 docker 共享主机网络
1.停止服务1service docker stop2.关掉docker01ifconfig docker0 down3.删除docker1brctl delbr docker04.增
2016-07-12 09:15:45
703
原创 Docker集群网络部署
编辑/etc/network/interface文件auto br0iface br0 inet staticaddress 192.168.7.31netmask 255.255.240.0gateway 192.168.7.254bridge_ports em1bridge_stp offdns-nameservers 8.8.8.8 192.1
2016-07-12 09:13:56
514
原创 企业级Hadoop部署参数调整
1.节点内核参数调整 – ulimit,/etc/security/limits.conf 设置 nofile （同时打开文件数量的限制） – THP (Transparent Huge Page)、ACPI、内存overcommit问题 – 不同功能的节点进行不同设置 • 耗内存?swap? • 需要高磁盘吞吐? • CP
2016-07-12 09:11:35
295
原创 Hadoop运维和Hive调优
1. 高级运维 —— 各种服务– HttpFS(HDFS over HTTP)• http://host:14000/webhdfs/v1/?op=xxx&user.name=hdfs – HA • http://www.cloudera.com/content/cloudera-content/cloudera- docs/CDH5/latest/CDH5
2016-07-12 09:09:40
726
原创 Unknown: Failed to write session data (files). Please verify that the current setting of session.s
1.Unknown: Failed to write session data (files). Please verify that the current setting of session.save_path is correct ()1).打开php.ini 里面有个session.save_path2).根据错误log修改相应session文件夹权限
2016-07-12 09:07:55
1539
原创 Dubbo整合Zookeeper和Spring示例程序
Dubbo整合Zookeeper和Spring示例程序1.Dubbo架构本篇文章基于dubbox，使用dubbo应该也可以正常运行。我认为想讲清楚一个任何一个技术框架，首先熟悉架构是非常有必要的。这将对对整个架构的理解有非常大的帮助。我们首先看看Dubbo的架构,这段摘抄自Dubbo官方文档节点角色说明：Provider: 暴露服务的服务提供方。Consumer
2016-07-08 16:04:21
3412
原创 Hadoop2.6 伪分布式配置
1. 安装前资源准备操作系统（我在这里使用的是centos 6.5 64bit）准备jdk的安装包 3.准备Hadoop安装包 2. 必要环境搭建2.1 Java环境配置以root用户登录系统 我把jdk安装到/opt目录下，进入该目录进行解压，命令如下 现在该目录下多了jdk1.7.0_71这个文件夹
2016-01-05 11:19:39
358
原创 Hadoop1.0.3配置简易教程
1.关闭防火墙（需root用户）2.关闭Selinux(在/etc/selinux/config 目录下 将SELINUX=enforcing改为SELINUX=disabled 重启电脑)3.配置ssh免密码登录（需要安装ssh client）4.安装Java及配置Java环境（安装前需先卸载Linux自带的openjdk）【所有机器都要做】5.下载Hadoop并解压 a.
2014-10-30 10:57:44
510
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人