- 博客(29)
- 收藏
- 关注
RSS订阅原创 megcli---清理raid1+做raid5
unzip 8-07-10_MegaCLI_Linux.ziprpm -ivh *.rpm查看其raid卡是不是可以支持megacli，理论上9是可以支持的，查出来的结果中如果有megaraid的表示可以lspci | grep -i raid获取RAID适配器的信息（关键）/opt/MegaRAID/MegaCli/MegaCli64 -AdpGetPciInfo -...
2020-02-01 22:24:41
707
原创 戴尔服务器安装Ubuntu
其他步骤同安装centos7.3差不多现在只写不同的地方进bios关闭 secure boot远程连接需要安装sshapt-get install openssh-server关于源的配置，如果老报不识别可以用电脑cmd，ping一下地址，得到ip，把ip和地址配到服务器hosts里允许root用户远程vim /etc/ssh/ssh...
2018-05-08 13:52:04
2626
原创 戴尔服务器安装Centos7.3
进bios，看情况修改boot选项有的要改启动模式为Legacy，有的不需要，有的改到u盘，一般不要选UEFICTRL+R做raid在Vgmt中，添加raid配置，两块系统盘做raid1，操作看提示余下的盘如果都直接做数据盘，可以去Ctrl Mgmt中，把盘选对，或者看到是none也可以，然后把Enable JBOD 勾选应用即可修改引导盘符安装的时候，一...
2018-05-08 13:51:01
9007
原创 codis非正常关闭重启过程
codis主节点突然挂掉，重启了一把 非正常关闭，需要进zookeeper中删除/codis下创建的内容[zk: localhost:2181(CONNECTED) 0] ls /[jodis, cluster, registry, controller, brokers, storm, zookeeper, infra-solr, hbase-unsecure, hadoop-ha,...
2018-04-20 15:07:20
1991
原创 关于hadoop集群常见的节点失联问题
节点失去心跳1.先看下是否能连上ssh上去看一下，或者ping一下如果能连上的考虑是主机名和时间同步问题查看hostname是不是发生了变化，检查/etc/hosts文件是否一致查看时间与namenode节点是否一致确定没有这两方面原因之后，等一段时间后即可获取心跳2.连不上的话考虑网络和服务器的问题...
2018-04-20 14:53:27
2533
原创 Ambari-Hadoop集群、Elasticsearch集群及nginx安装
环境初始化hostnamevi /etc/hosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstash filebeatnginx写在前面的话，安装这些东西的话，最好用脚本，不容易出错，下面写的是手动部署的过程...
2018-04-20 14:39:52
1194
原创 戴尔服务器安装Centos7.3
进bios，看情况修改boot选项有的要改启动模式为Legacy，有的不需要，有的改到u盘，一般不要选UEFICTRL+R做raid在Vgmt中，添加raid配置，两块系统盘做raid1，操作看提示余下的盘如果都直接做数据盘，可以去Ctrl Mgmt中，把盘选对，或者看到是none也可以，然后把Enable JBOD 勾选应用即可修改引导盘符安装的时候，一...
2018-04-20 11:06:49
5707
原创 mysql5.7常见问题
关于密码不符合要求的问题，如果你想自由地去设置密码，可以降低密码保护 mysql5.7：Your password does not satisfy the current policy requirements实例mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'baifendian';ERROR 1819 (HY000):...
2018-04-17 15:07:50
288
原创 u盘安装H3C-kylin服务器过程
0.用UltraISO刻录kylin3.3的系统至U盘1.ESC或者DEL进入setup，点Boot，BootMode “UEFI”改为“Legacy”;2.CTRL+A进入RAID设置 先点初始化 initial 点enter进去后，空格选中，delete取消选中，选中后点enter，y即可 然后点创建 create 点enter进去后，空格选中，delete...
2018-03-13 22:32:26
4452
原创 关于环境变量问题
linux中在配置java的时候，有时候会发现在/etc/profile里配完自己装的java以后，java -version出来的还是openjdklinux的PATH跟windwos相同，是有顺序的，会先读前面的，如果你装的配到了path末尾，那么可能有同样命令的就会读不到你刚配的那里例如 这个时候如果/usr/bin中有java 那就读不到自己配置的java了，所以可以配...
2018-03-01 23:53:49
303
原创 ranger import failed
rangeradmin启动不了，报错ranger import failed 猜测应为mysql function_creators参数没开 进mysql看一下show variables like ‘%func%’; 说明应该是这个问题在mysql输入 set global log_bin_trust_function_creators=1;重新启动rangeradm
2018-01-29 17:13:00
1473
原创 邮箱数据库：MySQL Daemon failed to start
今天一过来，发现邮箱上不去了，检查下页面报错，数据库问题，检查mysql，挂掉了，尝试启动service mysqld startMySQL Daemon failed to startservice mysqld startMySQL Daemon failed to start.Starting mysqld:
2018-01-08 20:10:36
626
2
原创 linux自定义登录成功提示信息
[root@localhost ~]# vim /etc/motd默认一般为空，可以自定义添加，可以上网搜索字符画，或者找一些网站用图片转化成字符画http://note.youdao.com/noteshare?id=d97fd188a1429715e9570ddc6b7f0e69&sub=BF5E3049120946D78846A15595FC5748
2017-12-27 00:09:30
1605
原创 es-jvm.options范本
## JVM configuration################################################################## IMPORTANT: JVM heap size#################################################################### You should always
2017-12-23 18:12:12
2856
1
原创 Hbase regionserver 启动不了的解决方案
尝试重启节点Hmaster节点执行bin/graceful_stop.sh --restart --reload --debug '节点名'挂掉节点执行/bin/hbase-daemon.sh start regionserver两种方式都失败查看日志less -R hbase-hadoop-regionserver-xxx.logjava.io.IOException: Connection
2017-12-23 17:36:29
8446
2
原创 nginx代理本地图片、视频及音频文件
在映射目录放相关文件，并在nginx中添加server即可server { listen 192.168.x.a:9001; server_name 192.168.x.b; charset utf-8; location ~ .*\.(gif|jpg|jpeg|png)$ { expire...
2017-12-19 05:42:31
10318
原创 Ambari-Hadoop集群、Elasticsearch集群及nginx安装
环境初始化hostnamevi etchosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstash filebeatnginx环境初始化一定要先挂载好磁盘hostnamehostnamevi /etc/sysconfig/networ
2017-12-19 05:00:26
690
原创 运维常用命令总结
linux系统系统分区压缩与解压文件查找及传输用户及权限查看文件vi编辑器网络nginxrpmyum编译安装mysql常见for循环示例eslinux系统系统su - cat /proc/cpuinfo 查看配置lscpu 查看配置cat /etc/redhat-re
2017-12-12 05:46:56
1586
翻译 ES报错：Can not be imported as a dangling index as index with same name already exists in cluster me
解决方案： 你不应该直接删除报警日志中的.kibana index，因为可能会因此在kibana中丢失数据。假如你曾经删除过 .kibana indice，那么这个警告就是你过去那个删除操作的残留结果。相应地，你应该知道操作的危险性： kibana官方配置文档 https://www.elastic.co/guide/en/kibana/current/settings.html默认情况：ki
2017-12-01 00:59:40
11589
翻译 3.为什么深度学习会飞速发展
近年来，深度学习飞速发展要归功于社会数字化带来的大量数据，神经网络算法发展的更快的计算能力与创新性。深度学习要有高效的表现，必须考虑两件事： 1.有能力去训练一个足够大的神经网络 2.大量带标签的数据神经网络的训练过程是反复迭代训练神经网络会花费大量的时间，这会影响你的工作效率。更快的计算能力有助于迭代和改进新算法。
2017-11-30 00:05:28
2736
翻译 2.神经网络的监督学习
在有监督的学习中，我们会得到一个数据集，并且已经知道我们正确的输出应该是什么样子，认为输入和输出之间是有关系的。有监督的学习问题分为“回归”和“分类”问题。在一个回归问题，我们试图通过连续输出预测结果，这意味着我们是试图将输入变量映射到一些连续函数。而在分类问题中，我们改为试图在离散输出中预测结果。换句话说，我们试图将输入变量映射到离散的类别。下面是一些监督学习的例子：有不同类型的神经网络，例如卷积
2017-11-29 23:54:25
935
翻译 1.什么是神经网络
神经网络是受人脑运作模式的启发创造出来的一种强大的学习算法。例子1——简单的神经网络给定房地产市场上房屋大小的数据，要拟合一个能预测其价格的函数。这是一个线性回归问题，因为价格作为房屋大小的一个函数是连续的。 我们知道，价格不可能是负值，所以我们正在创建一个叫做修正线性单元(ReLU)，它是从零开始的。 x：房屋的尺寸 输入 y：价格 输出 这个“神经元”
2017-11-29 22:44:54
370
原创 centos7安装python3.5
python官网地址： https://www.python.org/downloads/release/python-354/ 解压移动到/usr/lcoal下tar -zxf Python-3.5.4.tgzmv Python-3.5.4 /usr/local/安装依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel
2017-11-25 00:43:00
567
原创 关于hbase修复
查看hbase ui http://hmasterIP:16010/master-status 查看是否datanode有挂掉的，hdfs服务是否正常 hbase hbck 检查hbase状态常规用repair即可解决hbase hbck -repair相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHd...
2017-11-24 21:56:23
2078
原创 python-tensorflow 画风迁移
通过python的深度学习算法包去训练计算机模仿图片风格处理另外一张图片，来自GitHub开源，参看某知乎大神杨航锋的文章，自己尝试了下,感受下机器学习的魅力。需python3.5pip3 install keraspip3 install h5pypip3 install tensorflowpip3 install pillow把vgg16_weights_tf_dim_ordering_
2017-11-24 02:22:03
2363
1
原创 ranger启动报错Access denied for user 'root'@'%' to database 'ranger'
使用ambari安装的ranger在启动ranger-admin时报错 Access denied for user ‘root’@’%’ to database ‘ranger’ 参考解决办法： 使用root用户登录数据库，执行以下sql语句mysql> SELECT host,user,password,Grant_priv,Super_priv FROM mysql.user;+---
2017-11-23 04:02:31
2112
原创 大数据集群失联问题解决方案
我们之前维护的集群经常性地出现失联的情况，大数据集群上，还有es集群在跑，在凌晨左右集群会有随机的机器间歇性失联，cpu飙高，ssh登录不了。 在尝试了诸多方法后，通过每天定时清理缓存的方式解决了集群失联的问题。生产环境的大数据集群每天会有大量缓存，若不清理，就会导致内存使用率一直居高不下，长此以往，集群机器就容易失联。手工释放linux内存To free pagecache, useecho
2017-11-23 03:45:46
1564
原创 kickstart安装centos6.5
安装原理图 1. pxe client发送请求 2. DHCP Server提供信息 3. pxe client向PXELinux tftp请求下载启动文件 4. PXELinux响应请求并传输文件 5. pxe client向nfs kickstart请求下载自动应答文件 6. nfs kickstart安装操作系统准备工作 网络模式：NAT模式
2017-11-17 18:35:42
504
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人