【实习】一面实习 harvest

已于 2022-12-07 15:02:36 修改
阅读量137 收藏
点赞数
分类专栏： 实习收获----冲冲冲 文章标签： 数据分析实习 一面数据
于 2021-09-22 22:19:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jcjic/article/details/120424326
版权
本文分享了一位实习生在数据分析岗位上的体会，强调了数据处理中人工环节的重要性及细心的价值。实习期间，通过处理妮维雅产品数据，遇到了规则整理、数据清洗等问题，通过构建代码自动化流程来优化工作效率，但因数据错误和检查不全导致了最终的失误。作者认识到Python在大数据处理中的角色，以及数据存储、SQL计算和Python处理在业务问题解决中的配合。
摘要由CSDN通过智能技术生成

文章目录

前言

因为保密协议, 所以会经过人为脱敏 , 会尽量还原真实场景, 希望会您产生一点点帮助

1 实习感想(一个个泪的教训)

1 发现很多时候下来 数据分析 最后都得有人工的部分, 因为数据已经没有规律了或所蕴含的规律 计算机处理的速度 比不上人
2 不要做什么都得上代码 ,净弄些高级的东西, 最后让自己难受 解决需求的方法才是好方法
3 做一些简单重复的东东吧感觉 这样资深就能干其他了 ,然后就拿着一个快做的业务蛋糕 自己美化一下下 然后推测出事怎么做的
4
在这里插入图片描述5 一定要细心!!! 一定要细心!!! 一定要细心!!! 一定要细心!!! 一定要细心!!!
越是简单的东西越是要注意 , 因为越是简单东西你没做好就证明你不行了!!!
血多教训!!! 血的教训!!! 血的教训!!!
6
突然有点意识到数据服务存在是必须了,淘宝 天猫 京东等 知识提供了一个平台, 一堆商铺进驻 , 虽然很多数据可以知道 但是更多数据是不知道的，未知代表不确定，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据闲逛人
关注
专栏目录
订阅专栏
【实习】unable to create directory permission denied 文件夹权限问题
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
06-29 6532
1 单击文件夹，----->进入属性---->进入安全 2 进入编辑 3 设置权限 4成功了 总结 单纯的复制文件到服务器速度会很慢，例如这个要1小时 ，命令只有1分钟不到
HF.rar_harvest
09-24
标题中的“HF.rar_harvest”表明这是一个名为“HF”的RAR压缩文件，后缀“_harvest”可能是指该文件内容与“harvest”主题相关。描述中的“walkthrough harvest fishing Ps2”揭示了这个文件可能包含的是关于...
harvest
03-18
在“harvest-master”这个压缩包中，你可能会找到以下内容： 1. HTML基础教程：介绍基本标签和语法规则。 2. 实战示例：包含各种类型的网页代码示例，让你亲自动手实践。 3. CSS和JavaScript入门：帮助你理解如何与...
Harvest-开源
04-22
《Harvest：开源分布式搜索引擎框架详解》 在信息化飞速发展的今天，搜索引擎已经成为了我们获取信息、解决问题的重要工具。而在众多的搜索引擎中，Harvest以其开源、分布式的特点，成为了一个备受瞩目的技术解决...
Harvest A high-performance fundamental frequency estimator.pdf
07-05
文档标题为《Harvest: A high-performance fundamental frequency estimator》，摘要和部分内容介绍了名为Harvest的基频估计算法。Harvest算法的主要特点是能够获得可靠的基频（F0）轮廓，并且能够减少将发声部分...
如何优雅地在jupyter notebook中解决内存不够导致服务器蹦了的情况
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
11-17 6471
文章目录前言问题来源解决过程总结 前言        记录一下自己实习中遇到一个需求问题,内存不足,概括解决方法的核心就是: 以时间换空间 问题来源        写这篇文章的目的是因为这两天遇到一个需求: 取数,其中到一步因为运行内存的问题一直卡住, 大概是这样 user_id fan_list 1 […贼多几百万]   &nb
python中构造出一个空的DataFrame，并在循环中不断往dataframe里面添加内容
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
04-20 5745
这是管培期间的一个学习任务里面其中解决问题用到的方法 关键是下面的result.loc()巧妙地利用len()获取dataframe数据长度 import pandas as pd import numpy as np # 构造表格2数据 data = pd.DataFrame({'product_num':['A','B'], 'kk_big_category':['美妆','食品'], 'kkv_big_catego
【需求】DBeaver中使用with as，下面使用as出来的表却报错说不存在，ERROR: relation “new_dppp“ does not exist
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
05-07 1823
bug bug如下： Navicat中同样的语句可以使用，但是DBeaver中却不能使用，折腾半天，终于把问题解决了，但是不知道为什么，可能是软件本身设置如此吧 解决bug 解决方法：不要有换行，猜测是换行是独立片段，没有联系（这估计是DBeaver的特性，Navicat中不会这样） 拓展 那么的就像换行，空着美观一点怎么办，可以解决，加注释行就可以解决了 ...
【实习】一面数据面试面经
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
08-30 1632
数据分析师（实习） 数据科学组 & 数据资产组 | 连续实习2个月以上 职位描述： ▪ 与资深分析师合作，撰写、交付分析报告； ▪ 协助维护公司内部数据，监控问题并跟进解决； ▪ 负责与公司合作伙伴日常沟通和关系维护工作。 技能要求： ▪ 熟练使用 Excel 和 PowerPoint，能熟练使用 SQL 和 Tableau 者优先； ▪ 大三、大四、研一、研二在校生，至少能实习2个月以上（请在简历上标明实习时长及一周几天）； ▪ 有良好的沟通能力，做事认真、负责、有耐心，有较强的服务
【面试】汇总一下最近的一些面试 寒冬
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
03-24 1530
文章目录2 天长信息 已拒3 德科信息（5k-9k）已删5 海鼎(8-13k) 已删6 广州易方信息(10-15k 数据开发)7 数美科技(11-20k) 待面试8 甄明司法(7-12k) 已删9 邦盛科技(8k-12k) 一面过没联系10 雷象科技(7-10k) 已删11 babycare（11-17k）12 杨腾集团 已删13 骏聿科技（12k-15k）已删14 联和金融（8-12k）已删总结： 2 天长信息 已拒 背景：公路数据（100人以下） 数据挖掘工程师 6-11K·13薪 广州在校/应届
【面试】insta360面试-12-26
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
05-19 1404
💡 笔试交付邮箱：yumingliang@insta360.com 温馨提醒： 如有不诚信行为会直接取消资格。 交付格式可以选用 sql 文件格式或者 word 文档格式，不要用 PDF 等不好复制代码的格式。 SQL 等答案请先自行运行过再提交。 以下 6 题选 4 题作答即可，如果你有能力完成全部，那会更棒： 1、你之前数据分析的职业生涯或者项目中，是否有数据分析结果和预期结果不相符的情况。如有请说明背景，并且聊聊你是怎么处理的。 微博与小红书水军识别模型的 参数定义 2、Excel 处理 exc
【实习】一面数据是一家怎样的公司？实习六个月的工作感受，知无不言，有问题可以私聊
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
03-05 1283
选择你喜欢的，喜欢你选择的，爱你所爱，遵循本心
python解压zip文件与压缩文件夹 删除文件夹-----jupyter服务器上使用
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
11-04 1206
前言: 第一次使用jupyter服务器有点不适 不能上传文件夹，不删删除不为空的文件夹 那想上传了一个文件夹里面包含数十个文件时，然后想将其进行修改，那又要一个个文件下载下来！？？？ 万幸发现可以将其压缩成zip文件，然后解压来使用，这样就好很多了 1 解压文件夹 import zipfile f = zipfile.ZipFile("./粉霜.zip",'r') # 原压缩文件在服务器的位置 for file in f.namelist(): f.extract(file,"./粉霜")
Input contains NaN, infinity or a value too large for dtype(‘float64‘).
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
04-03 1175
what： 建模之前数据预处理，用Smote处理样本不平衡问题，出现这个bug why: 根据报错提示 输入包含NaN、infinity或一个对dtype来说太大的值(‘float64’) 经过sum(data.isnull().sum()) 然后查找最大 df.max() 找到原因处理掉就可以了 ...
【需求】Python利用selenium抓取顺丰的地址数据
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
08-10 1096
收集顺丰的省市区数据
【实习】一面日记 记录实习的点点滴滴
最新发布
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
12-07 803
1w 字 一面日记 记录实习的点点滴滴
Tableau 看板搭建小技巧
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
06-06 586
情景：在多个筛选器一起筛选的时候 第一步：先创建字段，设置index 第二步：再创建一个字段：page设置代码如下： 第三个：将page字段放上筛选器，并设置显示 情景：我想统计一个字段，在某个维度下统计去重后的某个维度数据（不是最小颗粒度的维度，例如不是唯一id列）。 遇到问题：在仪表板进行kk_tiny_category筛选时候，不会自动筛选掉，进行自动更新变化数字，即使在筛选器里面已经将筛选器设置为仅相关。 解决方法：将筛选器设置为添加到上下文 解决效果：完美解决...
【需求】Python利用selenium抓取京东的地址数据
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
08-10 584
爬取收集京东地址数据（网页版京东）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据闲逛人

谢谢大嘎喔~ 开心就好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值