- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Kettle的增量抽取以及定时抽取转换更新数据入门教程
在实际项目中往往需要使用定时更新数据，当Kettle的转换比较多的时候，手动一个个执行转换有点不太现实，今天就分享怎么完成定时更新数据。如果其中有些步骤看不懂的话可以看我Kettle分类下的另一篇文章增量更新包括三个组件（我拿之前做好的来示范，刚添加完三个组件之后，组件之间的连接线都是只有一个箭头，当完成表输入2的配置之后，表输入到表输入2的连接线就会变成这张图一样）先配置第一个表输入，第一个表输入的数据库连接为ODS层所在的数据库select max(ts) ts from ods层的表名
2021-09-16 11:41:30
7836
2
原创 Kettle的全量抽取新手教学（源数据-＞ODS层）
Kettle的全量抽取新手教学（源数据->ODS层） 这次操作的数仓分为ODS层和DW两层，ODS层用O_表名来命名，DW层用D_模块名_表名命名。一般情况下都是在服务器下完成Kettle的操作，今天只分享在本地环境下的操作。服务器上的操作只需登录Kettle账号，配上服务器地址即可。（本文使用的是Oracle数据库，和MySQL数据库略微不同）源数据->ODS层本地安装好Kettle之后，打开安装目录，双击运行Spoon.bat；打开速度稍微有点慢新建一个转换，直接双击转换或者点
2021-09-16 10:43:00
5215
原创 爬取贝壳网深圳二手房实战
完整走一遍从数据爬取下来到完成数据预测的流程，这次先把爬取数据整出来。爬取的内容是深圳龙岗区的二手房数据，一共有3000条。- 先把要用的包导进来import reimport xlwtimport requestsimport collectionsfrom bs4 import BeautifulSoup- 解析网站 由于
2020-12-24 11:44:28
1352
1
原创 Access denied for user ‘root‘@‘localhost‘ (using password: YES) mysql8连接失败
自己电脑装了两个mysql版本，一个5.7一个8.0。今天再次想再连接mysql发现连接不了。 通过快捷键win+R进入运行窗口输入services.msc，在弹出的窗口中发现mysql正在运行，点击停止掉。 停止完之后重新启动服务发现，还是不能启动mysql。 突然忘了意见很重要的事情，那就是cmd窗口是在
2020-12-13 23:17:07
206
原创 windows命令行窗口执行hadoop version 提示‘hadoop‘ 不是内部或外部命令，也不是可运行的程序 或批处理文件。
在windows命令行窗口环境下执行hadoop version一直提示"hadoop不是内部或外部命令，也不是可运行的程序 或批处理文件。" 网上搜的配置系统变量也配了，什么注意空格分号的也注意了，winutils要对应hadoop版本也检查了。但一执行hadoop version就提示"hadoop不是内部或外部命令，也不是可运行的程序
2020-11-20 12:26:35
12305
6
转载 hadoop运行jar包处理文件一直处于Running job状态的解决方法
参考博客:https://blog.csdn.net/dai451954706/article/details/50464036起初一直以为是导出的jar包有问题，百度了很久也没找到解决办法，最后终于让我找到了有用的解决办法。在 yarn-site.xml中添加<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value>&l
2020-10-30 11:44:59
1356
3
原创 虚拟机ping不通主机，而主机能ping通虚拟机的解决方法
安装好虚拟机之后配置网络，配置完之后发现虚拟机并不能ping通主机，但是主机却能ping通虚拟机。（虚拟机设置为桥接网络） 突然想到是不是防火墙没关的问题。果然，主机的防火墙一关我就能ping通了(虚拟机的防火墙也已经关闭)。但问题也来了，防火墙不可能一直关着吧。想到了Redis的防火墙策略，就自己试了试，没想到真可以。1.先打开防火墙的高级设置2.打开入站规则找到配置文件为专用，公用的文件和打印共享3.右键启用规则4.进入虚拟机重置网络，尝试ping通主机...
2020-10-02 19:13:07
2262
原创 修改Redis端口号以及解决修改完端口号但是没有生效的问题
Redis默认端口号是6379，如果不把端口号修改的话，可能会受到攻击。当然，如果改的端口号太简单的话也会受到攻击。找到Redis的安装路径，用编辑器(我用的是Notepad++)打开redis.windows.conf。 切记不要用记事本打开这个文件，因为这样会导致文件编码格式出问题，如果已经用记事本打开的话，此处建议重新安装Redis。找到port之后修改端口号并保存。用命令窗口启动Redis,这里要注意的就是除了要输入redis-server.exe之外，还需要输入配置文件的文件名redi
2020-09-18 21:49:30
4411
原创 当他人连接不到自己电脑的Redis时的解决方法以及新建连接的注意事项
1. 启动关闭Redis打开命令窗口，输入Redis的安装路径，找到redis-server.exe。按Ctrl+c可退出Redis或在任务管理器中根据PID号结束进程，根据PID来关闭进程是因为可能会遇到有多个Redis进程，只能根据PID来精确找到Redis结束进程。2.Redis管理器的简单使用打开Redis管理器，测试完连接之后点击好完成连接如果出现对方输入本机IP出现连接不上的情况，可关闭本机的防火墙。3.Redis的添加主键命名方式如果分号为中文符的话，会出
2020-09-12 09:50:18
824
原创 Python爬取豆瓣Top250数据小项目完整源码
导入相关的包from bs4 import BeautifulSoupfrom urllib.request import urlopenimport urllibimport lxmlimport reimport random需要改掉文件路径def get_html(): base_url = "https://baike.baidu.com" his = ["/item/%E8%BD%A6%E8%BD%AE/1468488"] for i i.
2020-09-10 12:26:17
255
原创 Python数据挖掘处理通话数据、短信以及上网记录完整项目+源码+源码解释
对通话、短信以及上网记录的数据来预测风险用户本文代码全部采用jupyter运行先导入相关的包# -*- coding: UTF-8 -*-import pandas as pdimport numpy as npfrom xgboost import XGBClassifierfrom sklearn.ensemble import RandomForestClassifierfrom sklearn import metrics, model_selectionfrom sklearn.
2020-09-10 11:13:11
1712
3
原创 解决CentOS7ping不通百度以及连接Xshell,winscp的方法
困扰好久的问题在大神的指导下终于被解决了，之前一直尝试修改都不行，今天来缕一缕思路，做个记录。
2020-09-09 21:22:06
704
1
原创 XAMPP详细安装教程
安装XAMPP教程打开XAMPP安装包等待安装完成打开安装好的XAMPP出现这种问题之后，我直接采用修改Apache端口号的方法修改完Apache之后点击start运行MySQL，结果一直没开启成功，一直显示框框中的语句。百度几篇文章的结果就是找到regedit.exe修改注册表里mysql的路径。打开C盘搜索regedit.exe我这修改之前的路径是：“C:\Program Files (x86)\MySQL\MySQL Server 5.
2020-09-09 11:07:55
1160
winscp+Xshell6.zip
2020-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人