- 博客(19)
- 收藏
- 关注
RSS订阅原创 hadoop实战（二）
hadoop 实战练习（二）引言： 哈哈，时隔几日，坏蛋哥又回来了，继上一篇hadoop实战练习（一）,坏蛋哥准备继续写一个实战练习实例。苏格拉底曾说：所有科学都源于需求。那么我们就抛出今天实战项目的需求：百度采集了一段时间用户的访问日志。需要将数据进行清洗变成结构化的数据，方便后面模型或报表的制作。那么就让我们开始吧！码字不易，如果大家想持续获得大数据相关内容，请关注和点赞坏蛋哥(haha…)文章目录：文章目录hadoop 实战练习（二）一 项目需求分析二 项目实现思路三 具体实现代码讲解
2020-07-28 11:35:44
2320
原创 hadoop环境搭建（详解）
hadoop 环境搭建引言： 随着人工智能和大数据的热潮的到来，大数据变得越来越火了，坏蛋哥的信念就是致力于大数据的发展和进步，希望能为大数据的发展和推广尽一份绵薄之力。如果要做大数据，那么大数据相关的环境的搭建就是开始的一步。hadoop环境可能是大数据大家最开始搭建的环境吧。对于很多小白，如果盲目的搭建，那么很可能会崩溃，那么坏蛋哥就出一期文章专门讲解搭建大数据环境。首先我们就来搭建大象级别的hadoop。集群结构图：文章结构：基础软件准备hadoop安装包下载和解压环境变量配置和
2020-07-23 10:35:56
1139
原创 坏蛋哥的随笔
坏蛋的随笔1 远程时：bash: jps: command not found问题描述：在远程执行 ssh hadoop jps 时报错原因是：用ssh去登录时身份中的环境变量没有包含住/etc/profile中的命令配置，说白了就是环境变量不对，可通过 ssh hadoop3 $PATH 查看ssh下的环境变量。解决：通过在目标机中配置 cat /etc/profile >> ~/.bashrc将环境变量加到对应的用户中去（按理说这种方式应该能解决问题，但是我没有解决，我是用
2020-07-06 18:15:36
646
原创 window下写的linux脚本放到linux系统中就执行不了
报错为：原因：在window系统中文件的结尾符为 /r/n 。而在liunx等类unix系统中，文件换行符为 ‘\n’因为我在submit text中编写的脚本，所以修改submit text的配置setings和settings-syntax-specific中的然后保存...
2020-06-13 15:44:21
198
原创 以root身份登陆云服务器
以root身份登陆云服务器背景： 在我买了腾讯云服务器后，但是不能以root的身份去登录尽管密码是正确的，所以就找了一下解决方法1. 找到 /etc/ssh/sshd-conf/编辑它： vim /etc/ssh/sshd-conf2. 找到 PermitRootLogin通过在普通命令行格式下输入： /PermitRootLogin 配合 ctrl+N寻找。如果有 PermitRootLogin without-password 就将其注释掉，然后再添加 PermitRootLogin
2020-06-04 19:15:46
955
原创 用docker安装mysql并公开
docker中安装mysql1.拉去mysql镜像#1.查询镜像docker search mysql#2.拉去镜像到本地仓库,默认最新版docker pull mysql 2. 运行容器#查看是否拉取成功docker images#运行容器docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PAS...
2020-02-03 23:28:36
105
原创 第一个mybatis项目实践问题总结
第一个实践（hello world）相信大家学习任何语言，都有一个经典的入门案例，我认为学习框架也不例外，一个hello world能让你实践如何搭建环境，将一个主要的流程有个基本熟练。为此，以后在没学一个新东西时，希望自己都能过来写一个hello world.1. 环境配置# 有个问题，teminate一关闭，那么set的环境变量就失效了set PATH=" ";%PATH%同时...
2020-02-03 23:10:58
130
原创 在ubuntu18中进行docker的安装
docker的安装教程方式一：利用ubuntu自带的apt仓库apt-get install docker.io方式二：利用docker的远程仓库删除原本的dockerr(如果有的话)sudo apt-get remove docker docker-engine docker-ce docker.io更新包apt-get update安装相关包以便可以通过Http...
2020-01-31 22:13:38
331
原创 安卓程序实践问题小记
1. 想要程序能上网，就要给其权限<users-permission android:name="android.permission.INTERNET"/>2. 想要明文传输，即使用http协议，那么就要在属性中加入android:userscleartextTraffic="true"3. 在ListView的组件的Adapter中，当getView方法写好后，但还是...
2020-01-30 23:33:18
164
原创 如何在github上面高效的找开源项目
1.在名字中寻找包含starsreadme中描述中语言和发布时间的过滤做技术不能只看书和视频，要找开源项目来多练练手
2020-01-18 10:41:10
150
原创 查看（修改）文件扩展名和显示隐藏文件----win10
因需要查看和可能去修改文件的后缀名，故记录一下打开控制面板点击外观和个性化设计点击文件管理系统最后去掉后缀名隐藏的对话框隐藏文件也可通过勾选得以改变...
2020-01-18 10:16:13
304
原创 pycharm向码云推送代码
pycharm向码云推送代码和命令行推送一样，首先要建立本地仓库，在这之前主要的是要安装gitee插件安装gitee插件一次打开settings—plugin插件–添加gitee如果是要拉去自己账户的仓库可以登录一手账户如果要登录自己的账户则依次打开settings–Version Control 点击gitee拉去别人仓库代码如果打开了工程，则关闭工程，再通过gitee拉...
2020-01-11 10:55:41
828
原创 系统安装，ubuntu和windows
背景：因为感觉实验室的服务器只安装一个ubuntu太浪费资源了，哈哈哈。所以决定再安装一个window做成上系统。第一个问题在安装了ubuntu的系统中再安装window，遇到了ubuntu不支持ntfs分析格式，其实windows也不一定要ntfs格式，我因为开始不了解文件系统格式，所以往后进行了，其实通过在这儿就可以安装，前提是重新在安装时对所需要的磁盘区进行分区和选对格式， shift...
2020-01-02 21:01:22
144
原创 python调用命令行的方式
1 os模块os.system()import osos.system('date')该方式简单，但是没有获取具体的返回值os.popen()import ost=os.popen('date')该方式可以获得返回的打印信息subprocess模块subprocess.getoutput()获取打印信息subprocess.getstatusoutputimport ...
2019-12-19 22:44:59
130
原创 安装mysqlclient时包错
#在安装mysqlclient时报如下错误ERROR: Command errored out with exit status 1:command: /home/admin/documents/python/env/djangoblog/bin/python3 -u -c ‘import sys, setuptools, tokenize; sys.argv[0] = ‘"’"’/tmp/p...
2019-12-13 16:57:02
1338
原创 error:error: command '/usr/local/cuda/bin/nvcc' failed with exit status 1与linu下查看文件
error:error: command ‘/usr/local/cuda/bin/nvcc’ failed with exit status 1 包错没有’：/usr/local/cuda/bin/nvcc’网上说是多了个‘：’号，有的说是gcc版本不匹配，通过各种捣鼓，最后是我的python3.7没有用来执行安装，当执行python3时是执行的python3.7,但是在执行sudo pyt...
2019-12-06 20:46:59
15256
8
原创 用python读取Oracle数据
如何用python读取oracle数据在一次任务中，需要用python来读取oracle的数据，用sq plus来查看数据时，非常难受，可以用相关的图形软件。比如，navicate,读取数据要用cx_oracle的python包，里面需要连接，要通过进入cmd输入lsnrctl status来查看监听配置文件所在位置，进入其中修改sid和host.sid改为实例名。host改为想要连入的ip...
2019-12-01 16:19:11
1188
原创 多个python共存
当安装了python的一个版本，但突然因为项目需求，可能需要更换python版本，在这种情况下，可通过一下方式实现1，去官网下载你现在想要安装的版本2.在cmd中敲入python命令，现在显示的是以前的版本，执行以下代码：import syssys.path找到以前版本的位置，3.新建一个back文件夹，将pytho和script文件剪切到该文件夹中4.再重新安装现在的版本，勾选添...
2019-12-01 16:11:37
139
原创 Error: That IP address can't be assigned to.
Error: That IP address can’t be assigned to.在买了阿里云服务器，准备部署django项目到服务器上时，一直包这个错，在网上查找了很多的资料还是没解决，最后是因为阿里云的防火墙端口要在控制台中修改，所以需要登陆在修改了settings.py中的ALLOW_HOSTS后用python manage.py runserver 0.0.0.0:8000...
2019-11-25 11:11:39
668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人