- 博客(273)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 jenkins部署war 报错required: java.lang.Long found: java.lang.Object
处理jenkins部署war的时候出现如下错误：[INFO] -------------------------------------------------------------[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------
2016-04-27 19:32:33
3659
1
原创 Hadoop回收站trash说明及重要作用
回收站简介:在HDFS里，回收站功能开启后，删除文件时，不会真正的删除，暂时是放入回收站.trash中，回收站里的文件可以快速恢复。可以设置一个时间阈值，当回收站里文件的存放时间超过这个阈值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。Hadoop回收站trash，默认是关闭的。建议最好还是把它提前开开，否则误操作的时候，就只能发呆了。1.修改c
2016-04-27 11:00:01
1692
原创 RHLE6/CENTOS6解析域名慢处理及关闭ipv6
业务发现访问域名api的时候总是慢，换成IP就快，如：curl -i 'http://api.xxxx.com/credit/getfiel?us=zhang&pwd=74432a70431方法一：关闭ipv61、查看系统是否开启ipv6a) 命令：ifconfig注释：有 “inet6 addr：。。。。。。。“ 的表示开启了ipv6功能b）通过内核模块加载信息查
2016-04-26 16:25:26
5375
原创 使用pip安装tensorflow 0.80，python 使用tensorflow 0.80遇到的问题及处理方法
业务需要使用谷歌的深度学习框架tensorflow，安装过程中遇到很多问题，真的很难处理，特此记录。CentOS6.4tensorflow 0.80Python-2.7.111、卸载原来的pip2、下载个pip 网站https://pip.pypa.io/en/latest/installing/3、yum install python-devel libf
2016-04-26 15:51:15
46981
18
原创 CentOS6 安装Python2.7后，yum出现“No module named yum”错误
安装如下方法安装python2.7：yum install -y python27 python27-devel Python-docutilscd /usr/bin/rm -rf pythoncp python2.7 pythonyum使用的时候出现错误：No module named yum解决方法，查看 /usr/bin下python有哪几个版本ll
2016-04-26 10:59:24
2698
原创 CDH报错cloudera-scm-server dead but pid file exists
CDH CM界面出现了无法访问的情现象，查看cloudera-scm-server状态# service cloudera-scm-server statuscloudera-scm-server dead but pid file exists提示cloudera-scm-server dead# service cloudera-scm-server stop#
2016-04-25 16:39:30
18484
原创 Linux系统修改最大文件限制
服务器监控报错，监控的agent无法启动，查看message日志，发下：Apr 22 10:11:42 server-10 kernel: VFS: file-max limit 3944668 reachedApr 22 10:11:52 server-10 kernel: VFS: file-max limit 3944668 reachedApr 22 10:11:58 se
2016-04-22 10:33:32
1420
原创 jenkins自动化部署war包报错Tomcat is not stopped
最近使用jenkins部署tomcat 的war包，实现自动化部署，在一台服务器多tomcat的情况下遇到问题，如下：[INFO] Installing /diskc/jenkins/data/workspace/gm/target/gm.war to /root/.m2/repository/com/ge/gm/0.0.1-SNAPSHOT/gm-0.0.1-SNAPSHOT.war
2016-04-21 09:54:09
3201
原创 hadoop hdfs.xml权限问题导致App Timeline Server服务无法正常启动
近期操作ambari重启ResourceManager的App Timeline Server 服务无法正常启动，ambari界面报错如下：4 - File['/var/run/hadoop-yarn/yarn/yarn-yarn-timelineserver.pid'] {'action': ['delete'], 'not_if': 'ls /var/run/hadoop-yarn
2016-04-20 11:57:57
4056
原创 Linux History记录加时间戳实用技巧
使用过linux的人都一定知道使用history可以输出你曾经输入过的历史命令，例如 [root@server ~]# history | more 6 cd /root 7 vim test1.sh 但是这里只显示了命令，并没有显示执行命令的时间，因为保存历史命令的~/.bash_history里并没有保存时间。 通过设置环
2016-04-20 10:58:36
1089
原创 Ubuntu 安装mysql和navicat、DBeaver
ubuntu上安装mysql非常简单只需要几条命令就可以完成。1. sudo apt-get install mysql-server2. sudo apt-get install mysql-client3. sudo apt-get install libmysqlclient-dev 安装过程中会提示设置密码什么的，注意设置了不要忘了，安装完成之后可以使用如下命令来检查是
2016-04-16 21:40:22
4449
原创 nginx网站开启https访问，http自动跳转到https
最近nginx要开启https访问，希望服务器与客户端之间传输内容是加密的，防止中间监听泄露信息，下面是颁发证书和配置过程。安装了openssl和openssl-devel#yum install openssl#yum install openssl-devel然后就是自己颁发证书给自己#cd /usr/local/nginx/conf （自己的配置文件目录）
2016-04-14 17:04:52
6232
原创 博客搬至CSDN 完成
因个人原因，将本博客搬至CSDN，原Chinaunix博客 http://blog.chinaunix.net/uid-25691489-id-5697722.html博客搬家很费精力，尤其是调整重新上传图片，以后写博客尽量不用图片。
2016-04-14 14:57:43
909
4
转载 玩转Python机器学习七步法
开始。这是最容易令人丧失斗志的两个字。迈出第一步通常最艰难。当可以选择的方向太多时，就更让人两腿发软了。从哪里开始？本文旨在通过七个步骤，使用全部免费的线上资料，帮助新人获取最基本的 Python 机器学习知识，直至成为博学的机器学习实践者。这篇概述的主要目的是带领读者接触众多免费的学习资源。这些资源有很多，但哪些是最好的？哪些相互补充？怎样的学习顺序才最好？我假定本文的读
2016-04-14 14:51:16
1615
转载 程序员什么时候该考虑辞职
经常有程序员来找我讨论要不要辞职，以及现在辞职是不是一个明智之举。这是很严肃的话题，我通常不会轻易发表建议，因为这个决定会对程序员的职业生涯和生活产生非常深远的影响。 很多人想要辞职但是因为怕被贴上“爱跳槽”的标签而裹足不前。从我观察的结果来看，很多程序员趋向于为了所谓的“声誉”而呆在老公司，但是在后期将两者相比较，“呆在老公司”的程序员处理问题的经验和职业发展前景远远不如那些频繁跳槽的
2016-04-14 14:15:26
950
3
转载 学习新技能的37个最佳网站
忘了过于褒奖的学校、整天呆在拥挤的教室而效果却差得可怜。这些网站和应用涵盖了科学、艺术和技术的无数话题。它们可以教会你实践练习任何技能，从制作豆沙到用 node.js 开发 app，而且它们都是免费的。你绝对没有任何理由不去掌握一个新技能、拓展你的知识，或最终助长你的职业发展。你可以根据自己的节奏呆在自己舒适的家里交互式地学习。无法想象还有比这更容易的了，坦诚地说，你还在等什么呢？1. 参
2016-04-14 14:14:34
867
1
转载 Redis-cli 命令总结
Redis提供了丰富的命令（command）对数据库和各种数据类型进行操作，这些command可以在Linux终端使用。在编程时，比如使用Redis 的Java语言包，这些命令都有对应的方法。下面将Redis提供的命令做一总结。官网命令列表：http://redis.io/commands （英文）1、连接操作相关的命令quit：关闭连接（connection）auth
2016-04-14 10:41:33
530
原创 python脚本监控进程，服务停止后自动启动
实例1： 点击(此处)折叠或打开 #!/usr/bin/env python import subprocess import datetime import re import sys
2016-04-13 14:31:41
11984
原创 Spark On YARN自动调整Executor数量配置 - Dynamic Resource Allocation
Spark 1.5.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作：一：在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services添加spark_shuffle值，设置yarn.nodemanager.aux-services
2016-04-13 14:31:38
4540
原创 spark on yarn报错ERROR GPLNativeCodeLoader: Could not load native gpl library
启动spark-sqlspark-sql --master yarn-client --executor-memory 1G报错：16/03/30 14:45:32 WARN BlockReaderLocal: The short-circuit local reads feature cannot be used because libhadoop cannot be load
2016-04-13 14:31:36
4071
原创 maven编译spark1.6.2
1.1 搭建环境1.1.1 安装并设置maven1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.3.3的二进制包，下载地址如下http://mirror.bit.edu.cn/apache/maven/maven-3/2. 使用ssh工具把maven包上传到/home/hadoop/upload目录3. 解压缩apache-mave
2016-04-13 14:31:33
1372
原创 Hbase启动报错zookeeper.RecoverableZooKeeper: Node /hbase/rs/slave3
Hbase启动报错，如下：2016-03-26 01:09:54,039 FATAL [regionserver60020] regionserver.HRegionServer: ABORTING region server slave3,60020,1458925764918: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncExcepti
2016-04-13 14:31:30
2723
原创 当我们说数据挖掘的时候我们在说什么
开头下定语：统计学习现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。统计学习的应用分类问题：客户分类模型、异常鉴别、图像识别等标注问题：信息抽取、自然语言处理等统计学习的一般流程 得到一个有限的数据集合 确定所有的学习模型集合 确
2016-04-13 14:31:27
528
原创 Namenode停止报错 Error: flush failed for required journal
hadoop集群主Namenode突然停止，报错如下：2016-03-23 17:12:25,877 INFO namenode.FSEditLog (FSEditLog.java:endCurrentLogSegment(1153)) - Ending log segment 5741443422016-03-23 17:12:26,350 WARN client.QuorumJou
2016-04-13 14:31:25
4885
原创 azkaban任务报错java.lang.RuntimeException: The root scratch dir: /tmp/hive
azkaban运行任务的时候失败报错如下：23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch d
2016-04-13 14:31:22
3338
原创 su: /bin/bash: Too many open files in system
su: /bin/bash: Too many open files in system业务日志中出现报错su: /bin/bash: Too many open files in system--这里报错，说打开的文件太多--解决方法(增加最大打开文件数的限制，当然最好是自己能控制好这个数量，要不机器性能也不行)[root@tmp ~]# cat /proc/sys/
2016-04-13 14:31:20
4773
原创 Python XML No module named etree.ElementTree
在学习使用Python解析XML的过程中遇到ImportError: No module named etree.ElementTree检查Python的库路径/usr/lib/python2.7/xml/etree，发现xml.etree.Element包是正常的报错提示是import xml.etree.ElementTree as ET 这一句有问题，最后求助于百度，
2016-04-13 14:31:17
7609
7
原创 Ubuntu下安装numpy matplotlib scikit-learn ipython-notebook
安装numpy相对简单，以下命令可以完成 apt-get install python-numpyapt-get install python-scipy 安装matplotlib相对复杂一些需要先安装其依赖的包libpng和freetype安装libpng: sudo apt-get install libpng-dev安装free
2016-04-13 14:31:14
691
原创 Hadoop之使用python实现数据集合间join操作
hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序 hadoop准备好数据后，将数据传送给java的map程序
2016-04-13 14:31:12
940
原创 ambari迁移HistoryServer服务
ambari管理界面没有提供move HistoryServer功能，所以需要使用命令进行迁移操作。操作前提示：如果你对ambari这些操作一点都不熟悉，建议不要进行操作，以免ambari管理界面异常，导致无法管理。可以先在测试环境操作练习，确认无误后，再进行正式环境操作。测试环境 Ambari 2.0一、删除 Delete Mapreduce History Serv
2016-04-13 14:31:09
1053
原创 ambari增加journalnode服务节点
ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。操作前提示：如果你对ambari这些操作一点都不
2016-04-13 14:31:06
2542
原创 ubuntu14 安装Oracle java JDK
在 Linux 系统中安装JDK，也有很多中方法。最简单的应该是在软件中心搜索查找，直接下载安装，这个过程是自动的；也可以在网上下载安装包，自己解压安装；还有一种方式就是在终端下载并安装。这里主要记录一下终端下载安装的步骤。在Ubuntu 14.04 中安装 JDK可以安装 JDK6，7 或 8。第一步：添加 PPA repository 到系统ubuntu:/$
2016-04-13 14:31:04
340
原创 Ubuntu 14.10安装SecureCRT 7.3
1、软件准备Ubuntu14.10 x64SecureCRT7.3的版本：scrt-7.3.0-657.ubuntu13-64.x86_64.deb官网下载地址：（打开慢，还要注册）http://www.vandyke.com/download/securecrt/download.html网络下载地址：http://download.csdn.net/detail/ope
2016-04-13 14:31:01
818
原创 ubuntu firefox 同步书签
ubuntu的火狐浏览器，默认使用的是全球版，与windows桌面下载的不是使用同一个数据共享，导致同步书签的时候会提示找不到账户。 试了好久，终于找到可以用中国版帐号的方法，分享： 1，打开home目录，ctrl+h，删除.mozilla目录（里面其实就是火狐当前的配置，历史记录，插件等等信息） 2，去中国官网下载firefox最新版本，解压运行
2016-04-13 14:30:51
1596
原创 nodemanager报错 spark.network.yarn.YarnShuffleService not found
HDP2.4版本安装启动后nodemanager报错，无法启动，查看日志发现，2016-03-11 10:51:23,638 FATAL nodemanager.NodeManager (NodeManager.java:initAndStartNodeManager(540)) - Error starting NodeManagerjava.lang.RuntimeExce
2016-04-13 14:30:42
5677
原创 hive0.14操作库、表 特别慢，报错，卡顿
hive操作特别慢，报错，卡顿现象：查看所有库拨错hive> show databases;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.thrift.tra
2016-04-13 14:30:39
3343
原创 重启ambari-agent服务器报错： Failed to start ping port listener of
维护过程中重启ambari-agent服务器 报错：INFO 2016-03-08 13:04:24,070 main.py:74 - loglevel=logging.INFOINFO 2016-03-08 13:04:24,076 DataCleaner.py:39 - Data cleanup thread startedINFO 2016-03-08 13:04:24,08
2016-04-13 14:30:36
3512
1
原创 U盘安装Ubuntu——关于UltraISO打开Ubuntu只有EFI文件夹的解决方法
最近想将自己的电脑安装为Ubuntu，使用U盘安装，不知道为什么，用UltraISO直接打开之后只有一个EFI文件夹，写入硬盘镜像有问题。解决方法有两种:一个是下载最新版本的Universal USB Installer下载地址为：点击打开链接第二种方法适用于Windows 8系统。首先用系统自带的ISO打开方式挂载Ubuntu镜像，然后管理员打开UltraISO->文
2016-04-13 14:30:27
8472
原创 linux挂载nfs共享目录实践
业务开发部署需要共享一个目录，采用nfs方式，整理了一下操作方法，共享出来，需要了解nfs的网上搜索下。一、规划：业务10.111.32.5010.111.32.51NFS server10.111.32.52二、操作a)Nfs server 10.111.32.52mkdir /share1chmod o+w /share1vim /e
2016-04-13 14:30:17
1800
原创 Centos创建sudo用户并且免输sudo密码
1、首先以root用户登录，并且新建一个普通的用户。这里以用户test为例用户创建后，重新以test用户登录，执行‘sudo uname’ 提示需要sudo的密码，但是输入test的密码之后，提示test用户没有在sudo的用户权限组中。2、root执行 visudo编辑文件。找到#user privilege 的这一行，照着下面root的模式，复制一行。
2016-04-13 14:30:14
12500
Python深度学习（Deep Learning With Python中文版）
2018-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人