HZAOLICHENG的博客

原创 apt-key 的解决方案

https://www.wenmayi.com/post/6866.html

原创 指定端口、IP地址、工作目录启动Jupyter Notebook

关于指定端口、IP地址、工作目录启动Jupyter Notebook的代码。

原创 如何在jupyter notebook中直接使用conda的其它虚拟环境

在对应的虚拟环境中使用如下命令:conda install nb_conda

原创 安装TensorFlow2.0建议命令

根据官网要求的环境，建议使用pip install tensorflow-gpu==2.0.0

原创 windows下cuda相关命令

nvidia-sim : 查看cuda driver版本nvcc --version : 查看tookit版本 cuda runtime版本

原创 更新pip

python -m pip install --upgrade pip

原创 mysql密码等级配置

查看配置SHOW VARIABLES LIKE 'validate_password%';修改配置SET GLOBAL validate_password_policy=LOW;

原创 Linux下安装MySQL

安装MySQL

原创 numpy和pandas中的控制台如何显示所有的数据

pd.options.display.max_columns = Nonepd.options.display.max_rows = Nonenp.set_printoptions(threshold=np.inf)或者pandas:pd.set_option('display.max_rows', None)pd.set_option('display.max_columns', None)

原创 Redis集群启动时发生如下错误:Node hadoop103:7002 replied with error: ERR Invalid node address specified: hadoop1

解决办法:把hadoop102换成对应的Ip,就是不用主机名，而用IP地址代替。这是因为redis对主机名的支持不是很好。

原创 IDEAD中如何使用scala

加入如下插件<build> <finalName>WordCount</finalName> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifact...

原创 kafka服务启动之后，又自己挂掉

产生这种情况很有可能是broker.id重复或者不一致了.需要修改config/server.properties文件中的broker.id为未使用过的id要修改log路径下的 meta.properties

原创 Linux下mysql命令汇总

启动服务service mysqld start停止服务service mysqld stop进入mysql安装目录bin/ 使用safe模式，进行重启：./mysqld_safe --skip-grant-tables使用root账户，无密码登录，修改root用户密码mysql -u rootuse mysqlupdate user set password=PASSWO...

原创 You don't have permission to access /ganglia on this server.

第一次修改的配置:sudo vim /etc/httpd/conf.d/ganglia.conf还是无法访问.第二次修改:重启服务，可以访问了!

原创 kafka出现幽灵事件

zookeeper启动之后，启动集群的群起kafka无响应，或者只是一个启动了。方案一:检查防火墙是否关闭。方案二:如果关闭，可以删除zookeeper中的version-2(zoo.config配置的文件数据路径)文件kafka的log.dirs配置的路径下的文件删除和kafka安装目录下的logs删除.所有的删除都是基于关闭所有服务之后，进行的。注:kafka中server....

原创 Linux中tail命令-f与-F的区别

tail -f该命令追踪的文件如果被删除或者修改名字，则停止追踪。tail -F该命令追踪的文件如果被删除或者修改名字，则继续追踪。

原创 Hive中数据去重的办法

数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换：方法一:select name,count(distinct(related_id)) from emp group by name;...

原创 JVM堆内存溢出解决办法java.lang.OutOfMemoryError: Java heap space

在使用Hadoop运行任务时，很有可能因为硬件资源不够而造成堆内存溢出解决办法:在yarn-site.xml中加入如下代码:<property> <name>yarn.scheduler.maximum-allocation-mb</name> value>2048</value></property><pr...

原创 Maven中打jar包时需要带入依赖，需要加入的插件

插件代码:<!-- Maven Assembly Plugin --><plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>2.4.1<...

原创 Hive中的动态分区

Hive中的动态分区:创建表的时候，有两个字段进行数据插入的时候，传入了三个字段，根据最后一个字段deptno的值进行分区

原创 Hql的执行顺序与书写顺序

书写顺序selectfromjoin onwhere group by order byhavinglimit执行顺序from -> join on -> where -> group by -> select -> having -> order by -> limit注:select之后都可以使用别名...

原创 Sql语句的各种Join

原创 Pid存在的位置

Hadoop的namenode和datanode 的pid存放在Linux目录下的 /tmp目录下ZooKeeper的pid存放在自己设定的运行数据存放的目录下version-2是存放数据的.pid会存放在zkData目录下。...

原创 Linux下安装MySQL找不到/root/.mysql-secret

Linux下安装找不到随机密码解决办法出现问题:安装mysql-server之后发现找不到随机密码的所在位置，以及文件夹根本不存在。原因:之前安装过mysql,卸载文件不彻底.解决办法检查是否下载过rpm -qa | grep -i mysql(输入之后出现mysql名字，复制)检查在哪里which mysql先删除mysqlrpm -e ( mysql名字)...

原创 Linux下安装MySQL出错

第一种错误解决办法第二种错误解决办法

原创 在SecureCRT上写Hive代码时，发现无法删除自己写过的错误的指令

解决办法:你使用的可能是不需要安装，直接解压就使用的软件。免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT需要进行下载安装版重新安装!https://blog.csdn.net/qq_39052513/article/details/100272502下载地址...

原创 Centos7如何实现静态网络

修改如下配置vim /etc/udev/rules.d/70-persistent-ipoib.rules vim /etc/sysconfig/network-scripts/ifcfg-ens333.其中HWADDR的设置点击下面链接设置HWADDR连接

原创 Linux下SSH无密码登陆

先在自己的主机上生成SSH公钥和私钥 cd /home/个人用户名/.sshssh-keygen rsa(输入该命令之后,遇到"冒号”，就世界Enter键,三次之后就成功了)会在.ssh目录下生成一个公钥和一个私钥需要在本机无密码访问其他主机，则就在本机的.ssh(还是上一个机器)目录下ssh-copy-id 其他主机的ip地址(1例如:92.168.12.111)这样在被访...

原创 Hadoop集群搭建步骤

准备3台客户机(关闭防火墙、静态IP、主机名称与Ip映射)安装JDK配置环境变量配置完使用source处理一下,配置的文件/etc/profile安装Hadoop配置环境变量，并且还要source /etc/profile配置集群配置ssh实现无密码登陆(namenode服务器和resourcemanager服务器、namenode服务器的root用户也需要配置)群起并测试集群...

原创 sudo添加管理员的方法

使用root用户 vim /etc/sudoers指令进入编写界面在下图的位置添加对应的用户即可3.修改完毕保存即可!

原创 jdk.tools依赖的解决办法

在使用jdk.tools的时候，会发现依赖下载不下来1.你写入的代码 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</ver...

原创 maven下载依赖失败解决办法

1.可以手动进行编写2.去中央仓库下载jar包导入本地

原创 centos7网络链接中出现Failed to start LSB: Bring up/down的解决方法

1.在终端中输入ip addr show中查找如下图划线中的mac地址进行复制2.vim /etc/sysconfig/network-scripts/ifcfg-ens33中修改HWADDR=(mac地址)

原创 Maven中如何导入阿里云镜像

我们使用maven的时候，会发现下载文件困难，这是由于maven的服务器在国外，因此需要加入阿里云镜像。加入阿里云镜像的步骤如下:找到maven的配置文件:例如:D:\ITSoftware\maven\apache-maven-3.2.2\conf\settings.xml找到该配置文件settings.xml文件中mirrors标签在该标签体内加入如下代码: <mirror> ...

原创 docker中添加阿里云镜像加速

为了实现docker进行下载镜像速度快，因此需要阿里云镜像加速!首先要安装好docker,并且启动dockermkdir -p /etc/docker(创建文件夹)进入阿里云开发者平台使用淘宝账号即可登陆,在镜像搜索中搜索docker。点击镜像加速器 选择对应的系统，然后即可得到专属于自己的阿里云镜像 例如:{“registry-mirrors”: [“...

原创 在Linux(centos)中安装docker的步骤

在官网中的安装方法:点击但是，不能按照官网进行安装，因为官网的下载，没有使用阿里云，下载很慢!确定你是CentOS7及以上版本yum安装gcc相关:yum -y install gcc和yum -y install gcc-c++卸载旧版本:yum -y remove docker docker-common docker-selinux docker-engine安装需要的软件包:y...

原创 CentOS7在阿里云下载地址

cetos7下载地址:

原创 CentOS不能上网首先考虑的解决办法

对于centos7或者6，进行虚拟机装机之后，一般都会发生不能上网的情况，那么就有效的解决办法是:关闭centos点击VM的编辑点击虚拟网络编辑器4.点击VMnet8，然后进行还原默认设置。最后开机就可上网了。...