我的私人笔记(zookeeper分布式安装) (2)将/opt/servers/zookeeper/conf路径下的zoo_sample.cfg修改为zoo.cfg。(4)在/opt/servers/zookeeper这个目录下创建zkData。(7)拷贝Zookeeper到其他节点上,修改myid的服务编号。(6)编辑myid文件,在文件中加上对应的server编号。(3)拷贝zookeeper安装包到Linux系统下。(3)打开zoo.cfg文件,修改dataDir路径。(5)在zkData下创建myid文件。(1)启动Zookeeper。
我的私人笔记(Linux中安装mysql) 7.使用临时密码登陆mysql,登陆后第一件事需要修改密码,必须符合密码复杂度 大小写字母数字加特殊字符组合。11.status 可以查看当前状态,如登陆用户,当前数据库、数据库版本信息、字符编码集等。12.编辑mysql配置文件,添加以下代码,设置字符集为utf8。mysql -u root #此时不需要密码,可以直接登录。//删除原本的[mysqld],添加如下内容。8.刷新一下权限表(在mysql中进行)2.下载mysql社区版本源并安装。6.查找mysql的登陆临时密码。4.启动mysql服务。
我的私人笔记(安装hive) {若运行schematool -dbType mysql -initSchema 显示没有找到命令则大概率是环境变量有问题}若运行schematool -dbType mysql -initSchema 没有成功。#指定HDFS内hive数据临时文件存放目录。-- 指定mysql密码 请输入自己的MySQL连接密码 -->6.添加hive-site.xml配置文件,配置MySQL相关信息。5.修改hive-env.sh配置文件,配置Hadoop环境变量。-- 元数据库的链接地址 mysql -->
创建python环境——Anaconda Anaconda是一个可以便捷获取和管理包,同时对环境进行统一管理的发行版本,它包含了conda、 Python在内的超过180个科学包及其依赖项。(1)包含了众多流行的科学、数学、工程和数据分析的Python库。(2)完全开源和免费。(3)额外的加速和优化是收费的,但对于学术用途,可以申请免费的License。(4)全平台支持Linux、Windows、Mac OS X,支持Python 2.6、2.7、3.4、3.5、3.6,可以自由切换。在此,我们推荐数据分析的初学者安装Anaconda进行学习
大数据项目实战(安装Hive) 百度网盘链接:https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?ALTER USER 'root'@'localhost' IDENTIFIED BY '初始密码';版本可能会有限制,建议用mysql-connector-java-5.1.46.jar。注意:密码为8位数以上和种类至少大写+小写+符号+数字。①修改hive安装路径。
大数据项目实战(Hadoop集群搭建) 2、百度网盘链接:https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?②百度网盘链接:https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?(2)修改hadoop-env.sh配置文件。安装了防火墙,查看防火墙显示的是这个页面。系统重新启动后,防火墙将重新打开。只在hadoop01里面输入,(自己手敲吧,注意别错了哈)(自己手敲吧,注意别错了哈)(注意目录和版本名称)(注意jdk的版本名称)(1)复制模板并重命名。
大数据项目实战(完整的搭建大数据集群环境) 安装一台虚拟机主机名为:hadoop01的虚拟机备用VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-CSDN博客。
“微商城”项目(5登录和注册) 在src\store\modules\user.js文件中,编写isLogin()方法判断是否已经登录,示例代码如下。创建src\pages\user\Register.vue组件,编写HTML结构代码,示例代码如下。将src\auth.js文件添加到src\main.js中,打开main.js文件,编写如下代码。在src\pages\user\Login.vue文件中,编写Login()方法,示例代码如下。在src\pages\user\Register.vue文件中,提交注册表单,示例代码如下。
“微商城”项目(4首页) 首页和商品详情页都有图片轮播图展示,考虑到Vue组件代码的复用性,把轮播图相关代码单独放置在src\components\swiper.vue文件中。接下来,在src\main.js项目入口文件中进行简单配置,将代码写在import Mint UI前面,示例代码如下。在src\pages\Home.vue文件中,编写HTML结构代码,示例代码如下。在src\pages\Home.vue文件中,编写HTML结构代码,示例代码如下。保存代码,启动项目,测试程序是否获取到数据,运行结果如下图所示。
使用kettle进行数据统计 首先需要指定一个常量N,值为100,类型为Number,接着将N和随机种子相乘的值存放到新的字段x中。在input field中选择需要计算的字段,对于需要输出的字段选择为true,其余为false。为了完成该转换,需要使用生成记录控件、生成随机数控件、计算器控件及字段选择控件。3. 在第2问的基础上设计一个转换,任务是生成一个随机数,并判断它是否处于2中均值的一个标准差内。生成随机数控件可以用来生成随机种子,生成0到1内的小数,具体配置如图所示。最后使用字段选择控件,删除多余字段。
使用kettle进行日志分析 分析日志是一个大数据分析中较为常见的场景。在Unix类操作系统里,Syslog广泛被应用于系统或者应用的日志记录中。Syslog通常被记录在本地文件内,比如Ubuntu内为/var/log/syslog文件名,也可以被发送给远程Syslog服务器。Syslog日志内一般包括产生日志的时间、主机名、程序模块、进程名、进程ID、严重性和日志内容。具体的日志内容如下所示:Jun0117292839095]:10.212143.73rootrootls--colorauto。
“微商城”项目(3页面布局) 激活底部标签栏样式,在src\router.js文件中配置linkActiveClass选项,设置底部导航栏选中样式的切换,示例代码如下。美化标签栏样式,在src\components\tabbar.vue组件中,编写如下样式代码。编写src\components\tabbar.vue文件的HTML结构代码,示例代码如下。在src\App.vue文件中,添加页面底部标签栏tabbar组件,示例代码如下。创建src\pages\Category.vue文件,示例代码如下。保存上述代码,页面效果如下图所示。