【阿龙精选】基于Hadoop+Hive+Spark的大数据电影推荐系统设计（协同过滤算法、个性化推荐与数据分析） Hadoop、Hive与Spark驱动的电影个性化推荐系统（大数据推荐算法、用户行为建

博主介绍：
    ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W+粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台的优质作者。通过长期分享和实战指导，我致力于帮助更多学生完成毕业项目和技术提升。

技术范围：
    我熟悉的技术领域涵盖SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等方面的设计与开发。如果你有任何技术难题，我都乐意与你分享解决方案。

 主要内容：
     我的服务内容包括：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文撰写与辅导、论文降重、长期答辩答疑辅导。我还提供腾讯会议一对一的专业讲解和模拟答辩演练，帮助你全面掌握答辩技巧与代码逻辑。

🍅获取源码请在文末联系我🍅

目录：

一、详细操作演示视频       在文章的尾声，您会发现一张电子名片👤，欢迎通过名片上的联系方式与我取得联系，以获取更多关于项目演示的详尽视频内容。视频将帮助您全面理解项目的关键点和操作流程。期待与您的进一步交流！        承诺所有开发的项目，全程售后陪伴！！！

核心代码介绍：

爬虫代码（可以运行）实时爬取！！

技术栈介绍：我们的项目技术栈选择了稳健高效的组合，涵盖了从开发语言到数据库和工具的各个方面，适合构建高效稳定的 Web 应用。

源码获取

文章下方名片联系我即可~大家点赞、收藏、关注、评论啦 、查看👇🏻获取联系方式👇🏻精彩专栏推荐订阅：在下方专

一、详细操作演示视频
       在文章的尾声，您会发现一张电子名片👤，欢迎通过名片上的联系方式与我取得联系，以获取更多关于项目演示的详尽视频内容。视频将帮助您全面理解项目的关键点和操作流程。期待与您的进一步交流！
        承诺所有开发的项目，全程售后陪伴！！！

核心代码介绍：

--
-- Current Database: `django0273cw6o`
--

/*!40000 DROP DATABASE IF EXISTS `django0273cw6o`*/;

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `django0273cw6o` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;

USE `django0273cw6o`;

--
-- Table structure for table `c2xklu0u_dianyingxinxi`
--

DROP TABLE IF EXISTS `c2xklu0u_dianyingxinxi`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `c2xklu0u_dianyingxinxi` (
  `id` bigint(20) NOT NULL DEFAULT '0' COMMENT '主键',
  `addtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `title` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '名称',
  `year` int(11) DEFAULT NULL COMMENT '年代',
  `picture` longtext CHARACTER SET utf8 COMMENT '图片',
  `ypxx` longtext CHARACTER SET utf8 COMMENT '影片信息',
  `pingfen` double DEFAULT NULL COMMENT '评分',
  `pjs` int(11) DEFAULT NULL COMMENT '评价数',
  `wxs` double DEFAULT NULL COMMENT '五星数',
  `tags` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '标签',
  `plnr` longtext CHARACTER SET utf8 COMMENT '评论内容',
  `uname` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '评论人',
  `xqdz` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '详情地址'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `c2xklu0u_dianyingxinxi`
--

LOCK TABLES `c2xklu0u_dianyingxinxi` WRITE;
/*!40000 ALTER TABLE `c2xklu0u_dianyingxinxi` DISABLE KEYS */;
INSERT INTO `c2xklu0u_dianyingxinxi` VALUES (2,'2024-02-23 13:39:55','热辣滚烫',2024,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2904304396.jpg','2024 / 中国大陆 / 剧情 喜剧 / 贾玲 / 贾玲 雷佳音',7.9,528232,4,'中国大陆 喜剧 女性','值得给努力的人五颗星！','浅尝辄止','https://movie.douban.com/subject/36081094'),(3,'2024-02-23 13:39:55','飞驰人生2',2024,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2903066285.jpg','2024 / 中国大陆 / 剧情 喜剧 运动 / 韩寒 / 沈腾 范丞丞',7.7,396162,4,'中国大陆 喜剧 搞笑','我知道，无数次的努力，机会只有两三次','马史','https://movie.douban.com/subject/36369452'),(4,'2024-02-23 13:39:55','年会不能停！',2023,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2901057189.jpg','2023 / 中国大陆 / 剧情 喜剧 / 董润年 / 大鹏 白客',8.1,744112,4,'中国大陆 喜剧 搞笑','白客在这部电影里非常戳人xp谁懂','人的随波逐流','https://movie.douban.com/subject/35725869'),(5,'2024-02-23 13:39:55','第二十条',2024,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2903145026.jpg','2024 / 中国大陆 / 剧情 喜剧 家庭 / 张艺谋 / 雷佳音 马丽',7.7,335896,4,'中国大陆 喜剧 犯罪','窝囊废属实是雷佳音的统治区','renee酱酱','https://movie.douban.com/subject/36208094'),(6,'2024-02-23 13:39:55','非诚勿扰3',2023,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2902243978.jpg','2023 / 中国大陆 / 喜剧 爱情 科幻 / 冯小刚 / 葛优 舒淇',5.4,88149,2.5,'中国大陆 爱情 喜剧','经典看电影了，这个应该是完美大结局了吧。秦汉和笑笑的故事还在继续，看了无数个版本的建国，每个还都是印象深刻的出场。葛大爷还是很能给梗的，舒淇还是那么的貌美，越看越美，关晓彤已经女大十八变了，重温故人的感觉还是很不错的。','流浪的小丫头','https://movie.douban.com/subject/26769592'),(7,'2024-02-23 13:39:55','飞驰人生',2019,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2542973862.jpg','2019 / 中国大陆 / 喜剧 / 韩寒 / 沈腾 黄景瑜',6.8,943088,3.5,'近期热门动作片榜','普通老百姓看完谁不想点开QQ飞车呢？\n','鱼虾入梦ee','https://movie.douban.com/subject/30163509'),(8,'2024-02-23 13:39:55','熊出没·逆转时空',2024,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2902482452.jpg','2024 / 中国大陆 / 喜剧 科幻 动画 / 林汇达 / 谭笑 张秉君',6.9,36786,3.5,'中国大陆 动画 科幻','握草，最后决战都跟复仇者联盟4一样。太猛了。。','阿赛赛赛赛赛','https://movie.douban.com/subject/36438166'),(9,'2024-02-23 13:39:55','你好，李焕英',2021,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2629056068.jpg','2021 / 中国大陆 / 剧情 喜剧 奇幻 / 贾玲 / 贾玲 张小斐',7.7,1457814,4,'华语喜剧片榜','有笑有泪的，不明白陈赫这个人物有什么作用，完全多余','稻草上的小僵尸','https://movie.douban.com/subject/34841067'),(10,'2024-02-23 13:39:55','红毯先生',2023,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2903913148.jpg','2023 / 中国大陆 中国香港 / 剧情 喜剧 / 宁浩 / 刘德华 单立文',6.8,50551,3.5,'豆瓣2024最值得期待华语电影','我心目中4星，但他绝不是6.9分电影。大局观5星。','自娱自乐早餐店','https://movie.douban.com/subject/35494829'),(11,'2024-02-23 13:39:55','保你平安',2022,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2889498097.jpg','2022 / 中国大陆 / 剧情 喜剧 / 大鹏 / 大鹏 李雪琴',7.6,451076,4,'2023年度榜单高分电影精选','白马虽是好意象，可是坐台小姐也没有惹任何人','Rie','https://movie.douban.com/subject/35457272'),(12,'2024-02-23 13:39:55','疯狂动物城',2016,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2614500649.jpg','2016 / 美国 / 喜剧 动画 冒险 / 拜伦·霍华德 瑞奇·摩尔 杰拉德·布什 / 金妮弗·古德温 杰森·贝特曼',9.2,2017361,4.5,'豆瓣电影Top250','做冰棍那机智的不像话！！！全片最爱！！！想吃！！！','羚羊的灵魂','https://movie.douban.com/subject/25662329'),(13,'2024-02-23 13:39:55','我不是药神',2018,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2561305376.jpg','2018 / 中国大陆 / 剧情 喜剧 / 文牧野 / 徐峥 王传君',9,2168616,4.5,'豆瓣电影Top250','人生建议：别买零食，吃不下的。','Noodles','https://movie.douban.com/subject/26752088'),(14,'2024-02-23 13:39:55','满江红',2023,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2887555071.jpg','2023 / 中国大陆 / 剧情 喜剧 悬疑 古装 / 张艺谋 / 沈腾 易烊千玺',7,1072512,3.5,'中国大陆 悬疑 喜剧','我们为什么要记住诗词。','-却不及','https://movie.douban.com/subject/35766491'),(15,'2024-02-23 13:39:55','寻梦环游记',2017,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2505426431.jpg','2017 / 美国 / 喜剧 动画 音乐 奇幻 / 李·昂克里奇 阿德里安·莫利纳 / 安东尼·冈萨雷斯 盖尔·加西亚·贝纳尔',9.1,1751605,4.5,'豆瓣电影Top250','邻座的女孩哭倒在我怀里啊电影多么美妙！','rururi','https://movie.douban.com/subject/20495023'),(16,'2024-02-23 13:39:55','夏洛特烦恼',2015,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2264377763.jpg','2015 / 中国大陆 / 喜剧 爱情 / 闫非 彭大魔 / 沈腾 马丽',7.9,1019859,4,'华语喜剧片榜','男性视角的意淫','水鸟叫秧秧','https://movie.douban.com/subject/25964071'),(17,'2024-02-23 13:39:55','哪吒之魔童降世',2019,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2563780504.jpg','2019 / 中国大陆 / 剧情 喜剧 动画 奇幻 / 饺子 / 吕艳婷 囧森瑟夫',8.4,1850878,4,'近期热门动画片榜','邓超救不起这暑期档，哪吒可以。','凹凸','https://movie.douban.com/subject/26794435'),(18,'2024-02-23 13:39:55','绿皮书',2018,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2531065411.jpg','2018 / 美国 中国大陆 / 剧情 喜剧 音乐 传记 / 彼得·法雷里 / 维果·莫腾森 马赫沙拉·阿里',8.9,1709059,4.5,'豆瓣电影Top250','肯德基年度推广大电影','根','https://movie.douban.com/subject/27060077'),(19,'2024-02-23 13:39:55','芭比',2023,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2895679456.jpg','2023 / 美国 加拿大 / 喜剧 奇幻 冒险 / 格蕾塔·葛韦格 / 玛格特·罗比 瑞恩·高斯林',8,637411,4,'豆瓣2023评分最高喜剧片','要知道中国女人在电影院看一部高纯度女性视角爽片的机会可不多','Malaimo','https://movie.douban.com/subject/4058939'),(20,'2024-02-23 13:39:55','三傻大闹宝莱坞',2009,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p579729551.jpg','2009 / 印度 / 剧情 喜剧 爱情 歌舞 / 拉吉库马尔·希拉尼 / 阿米尔·汗 卡琳娜·卡普尔',9.2,1912177,4.5,'豆瓣电影Top250','看了这部电影是我2010年最幸运的一件事 力荐！','私喜','https://movie.douban.com/subject/3793023'),(21,'2024-02-23 13:39:56','暴走财神5',2024,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2904114689.jpg','2024 / 中国大陆 / 喜剧 奇幻 / 唐滔 / 史元庭 孙越',5.5,1708,3,'中国大陆 喜剧 奇幻','给普通老百姓看的一部贺岁片，完成度挺好。','晓东','https://movie.douban.com/subject/36766141'),(22,'2024-02-23 13:39:56','死侍2：我爱我家',2018,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2545479945.jpg','2018 / 美国 / 喜剧 动作 科幻 冒险 / 大卫·雷奇 / 瑞安·雷诺兹 乔什·布洛林',7.3,443675,3.5,'2019评分最高科幻/动作片','不辣的皮特演了个隐形人，真的，我不骗你们。','奶奶的熊','https://movie.douban.com/subject/26588308'),(23,'2024-02-23 13:39:56','逃学威龙',1991,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2573231828.jpg','1991 / 中国香港 / 喜剧 动作 爱情 / 陈嘉上 / 周星驰 张敏',8.1,349993,4,'中国香港喜剧片榜','在这片子里星星很帅~','takisan','https://movie.douban.com/subject/1302090'),(24,'2024-02-23 13:39:56','史密斯夫妇',2005,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p1677402144.jpg','2005 / 美国 / 喜剧 动作 爱情 / 道格·里曼 / 布拉德·皮特 安吉丽娜·朱莉',7.8,509983,4,'美国动作片榜','朱莉的性感无人能及','Miss Lucky','https://movie.douban.com/subject/1309199'),(25,'2024-02-23 13:39:56','国产凌凌漆',1994,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2585823759.jpg','1994 / 中国香港 / 喜剧 动作 / 李力持 周星驰 / 周星驰 袁咏仪',8.4,419846,4,'华语喜剧片榜','我现在才知道达文西就是达芬奇...','takisan','https://movie.douban.com/subject/1307739'),(26,'2024-02-23 13:39:56','一点就到家',2020,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2621101922.jpg','2020 / 中国大陆 / 剧情 喜剧 / 许宏宇 / 刘昊然 彭昱畅',6.5,280051,3.5,'中国大陆 喜剧 搞笑','好看 国庆最佳','momoer','https://movie.douban.com/subject/35069506'),(27,'2024-02-23 13:39:56','来电狂响',2018,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2542268337.jpg','2018 / 中国大陆 / 剧情 喜剧 / 于淼 / 佟大为 马丽',5.7,290331,3,'中国大陆 喜剧 黑色幽默','喜欢乔杉的幽默，不过剧情稍微有点立不住','影王','https://movie.douban.com/subject/30377703'),(28,'2024-02-23 13:39:56','无敌破坏王2：大闹互联网',2018,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2523931173.jpg','2018 / 美国 / 喜剧 动画 奇幻 冒险 / 菲尔·约翰斯顿 瑞奇·摩尔 / 约翰·C·赖利 萨拉·西尔弗曼',8,393784,4,'2018评分最高动画片','女朋友爱上女人了，直男只能放手。','傻乐的猫','https://movie.douban.com/subject/20438964'),(29,'2024-02-23 13:39:56','怪兽大学',2013,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p1896375401.jpg','2013 / 美国 / 喜剧 动画 冒险 / 丹·斯坎隆 / 比利·克里斯托 约翰·古德曼',8.3,380054,4,'皮克斯高分电影榜','年度最佳动画，像极了我的大一freshman 生活','Sammy','https://movie.douban.com/subject/3789848'),(30,'2024-02-23 13:39:56','私人订制',2013,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2159261731.jpg','2013 / 中国大陆 / 喜剧 / 冯小刚 / 葛优 白百何',6,339660,3,'第5届金扫帚奖获奖名单','不止这么点分。所以我打个高分来平衡一下','诚实可靠小郎君','https://movie.douban.com/subject/10605978'),(31,'2024-02-23 13:39:56','甲方乙方',1997,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2436823425.jpg','1997 / 中国大陆 / 喜剧 / 冯小刚 / 葛优 刘蓓',8.4,330477,4,'中国大陆喜剧片榜','地主家也没余粮了~~~','崇子','https://movie.douban.com/subject/1303173'),(32,'2024-02-23 13:39:56','新喜剧之王',2019,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2555440969.jpg','2019 / 中国大陆 中国香港 / 剧情 喜剧 / 周星驰 邱礼涛 / 王宝强 鄂靖文',5.7,406360,3,'第39届香港电影金像奖提名名单','能叫我年初一一大早就跑去电影院的 只有周星驰','F','https://movie.douban.com/subject/4840388'),(33,'2024-02-23 13:39:56','万万没想到',2015,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2291070523.jpg','2015 / 中国大陆 / 喜剧 奇幻 冒险 古装 / 易小星 / 白客 杨子姗',5.7,214796,3,'中国大陆 喜剧 搞笑','万万没想到确实比我想的好看的多。。详见长文影评。','球宝宝','https://movie.douban.com/subject/26320029'),(34,'2024-02-23 13:39:56','熊出没·伴我“熊芯”',2023,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2886535219.jpg','2023 / 中国大陆 / 喜剧 科幻 动画 / 林永长 邵和麒 / 张秉君 谭笑',7.1,62491,3.5,'中国大陆 动画 家庭','熊出没说不定是今年春节档唯一不是烂片的电影。','hedy','https://movie.douban.com/subject/36123159'),(35,'2024-02-23 13:39:56','青春变形记',2022,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2868096837.jpg','2022 / 美国 / 喜剧 动画 奇幻 冒险 / 石之予 / 姜晋安 吴珊卓',8,333669,4,'豆瓣2022评分最高动画片','老祖宗想总算有小崽子愿意接受我的祝福了','Qrua','https://movie.douban.com/subject/35284253'),(36,'2024-02-23 13:39:56','受益人',2019,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2572429001.jpg','2019 / 中国大陆 / 剧情 喜剧 爱情 / 申奥 / 大鹏 柳岩',6.5,212662,3.5,'近期热门爱情片榜','完成度真的非常好了','城南草木生','https://movie.douban.com/subject/30299311'),(37,'2024-02-23 13:39:56','留校联盟',2023,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2902526533.jpg','2023 / 美国 / 剧情 喜剧 / 亚历山大·佩恩 / 保罗·吉亚玛提 多米尼克·塞萨',7.8,19684,4,'第81届金球奖电影奖提名名单','成年人的家人是自己攒的','饱肚师叔','https://movie.douban.com/subject/35496212'),(38,'2024-02-23 13:39:56','一念天堂',2015,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2298762068.jpg','2015 / 中国大陆 / 喜剧 / 张承 / 沈腾 马丽',6.1,123834,3,'中国大陆 黑色幽默 喜剧','这才是喜剧打开的正确方式，喜剧不是装疯卖傻','遇见','https://movie.douban.com/subject/26611801'),(39,'2024-02-23 13:39:56','落叶归根',2007,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p1298673351.jpg','2007 / 中国大陆 中国香港 / 剧情 喜剧 / 张杨 / 赵本山 郭德纲',8.5,210634,4.5,'中国大陆 喜剧 黑色幽默','不是喜剧，是正剧','布宜諾斯','https://movie.douban.com/subject/1853621'),(40,'2024-02-23 13:39:59','让子弹飞',2010,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1512562287.jpg','2010 / 中国大陆 中国香港 / 剧情 喜剧 动作 西部 / 姜文 / 姜文 葛优',9,1754629,4.5,'豆瓣电影Top250','说姜文用力过猛的  那只能说明您受功不够 受用不起！','弗朗索瓦张。','https://movie.douban.com/subject/3742360'),(41,'2024-02-23 13:39:59','扬名立万',2021,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2881817779.jpg','2021 / 中国大陆 / 剧情 喜剧 悬疑 / 刘循子墨 / 尹正 邓家佳',7.4,773768,3.5,'2021年度榜单高分电影精选','十个项目九个凉，商业投资很正常。','拣尽寒枝','https://movie.douban.com/subject/35422807'),(42,'2024-02-23 13:39:59','宇宙探索编辑部',2021,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2889865405.jpg','2021 / 中国大陆 / 喜剧 科幻 / 孔大山 / 杨皓宇 艾丽娅',8,564866,4,'豆瓣2023评分最高喜剧片','强烈要求孙一通诗集出版','梦伴','https://movie.douban.com/subject/34941536'),(43,'2024-02-23 13:39:59','怦然心动',2010,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p501177648.jpg','2010 / 美国 / 剧情 喜剧 爱情 / 罗伯·莱纳 / 玛德琳·卡罗尔 卡兰·麦克奥利菲',9.1,1887639,4.5,'豆瓣电影Top250','………………我能給十星嗎！','熊大柚小內內','https://movie.douban.com/subject/3319755'),(44,'2024-02-23 13:39:59','西虹市首富',2018,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2529206747.jpg','2018 / 中国大陆 / 喜剧 / 闫非 彭大魔 / 沈腾 宋芸桦',6.6,1035819,3.5,'2018最受关注院线电影','满分。笑skr人。','mlln','https://movie.douban.com/subject/27605698'),(45,'2024-02-23 13:39:59','独行月球',2022,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2876409008.jpg','2022 / 中国大陆 / 喜剧 科幻 / 张吃鱼 / 沈腾 马丽',6.6,707313,3.5,'中国大陆 喜剧 科幻','太他妈的浪漫了。','没有去过沙漠','https://movie.douban.com/subject/35183042'),(46,'2024-02-23 13:39:59','动物园里有什么？',2024,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2902444357.jpg','2024 / 中国大陆 / 喜剧 / 安小满 / 包贝尔 宋晓峰',4.3,19672,2,'中国大陆 喜剧 搞笑','没看过原版，但是他们肯定没有大熊猫哈哈哈哈哈','芈小花','https://movie.douban.com/subject/35082289'),(47,'2024-02-23 13:39:59','唐人街探案3',2021,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2622388983.jpg','2021 / 中国大陆 中国香港 日本 / 喜剧 悬疑 / 陈思诚 / 王宝强 刘昊然',5.3,1075433,2.5,'中国大陆 喜剧 推理','世界上一切可以称之为艺术的东西都需要天赋。\n ','Jasper','https://movie.douban.com/subject/27619748'),(48,'2024-02-23 13:39:59','功夫',2004,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2219011938.jpg','2004 / 中国大陆 中国香港 / 喜剧 动作 犯罪 奇幻 / 周星驰 / 周星驰 元秋',8.8,1184078,4.5,'豆瓣电影Top250','再都不可能出现比它牛B的功夫电影了','郁程','https://movie.douban.com/subject/1291543'),(49,'2024-02-23 13:39:59','大话西游之大圣娶亲',1995,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2455050536.jpg','1995 / 中国香港 中国大陆 / 喜剧 爱情 奇幻 古装 / 刘镇伟 / 周星驰 吴孟达',9.2,1577049,4.5,'豆瓣电影Top250','一遍烂，两遍笑，三遍哭','罗弘霉素','https://movie.douban.com/subject/1292213'),(50,'2024-02-23 13:39:59','飞屋环游记',2009,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2363116942.jpg','2009 / 美国 / 剧情 喜剧 动画 冒险 / 彼特·道格特 鲍勃·彼德森 / 爱德华·阿斯纳 克里斯托弗·普卢默',9.1,1369981,4.5,'豆瓣电影Top250','最后那些最无聊的事情，才是我最怀念的。','萨萨','https://movie.douban.com/subject/2129039'),(51,'2024-02-23 13:39:59','唐人街探案',2015,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2302930556.jpg','2015 / 中国大陆 / 喜剧 动作 悬疑 / 陈思诚 / 王宝强 刘昊然',7.7,867379,4,'中国大陆喜剧片榜','曾志伟一个人声优了所有角色吧','深夜声噎','https://movie.douban.com/subject/26311973'),(52,'2024-02-23 13:39:59','唐伯虎点秋香',1993,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2357915564.jpg','1993 / 中国香港 / 喜剧 爱情 古装 / 李力持 / 周星驰 巩俐',8.7,1116723,4.5,'豆瓣电影Top250','可以忽略秋香……','趙小漁','https://movie.douban.com/subject/1306249'),(53,'2024-02-23 13:39:59','唐人街探案2',2018,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2512717519.jpg','2018 / 中国大陆 / 喜剧 动作 悬疑 / 陈思诚 / 王宝强 刘昊然',6.6,915722,3.5,'2018最受关注院线电影','好些角色其实没怎么用到，昊然弟弟女装善哉。','Mona Lishark','https://movie.douban.com/subject/26698897'),(54,'2024-02-23 13:39:59','触不可及',2011,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p1454261925.jpg','2011 / 法国 / 剧情 喜剧 / 奥利维埃·纳卡什 埃里克·托莱达诺 / 弗朗索瓦·克鲁塞 奥玛·希',9.3,1160951,4.5,'豆瓣电影Top250','给领导做一万件好事不如陪他做一件坏事','Dr希鲁鲁克','https://movie.douban.com/subject/6786002'),(55,'2024-02-23 13:39:59','超能陆战队',2014,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2224568669.jpg','2014 / 美国 / 喜剧 动作 科幻 动画 冒险 / 唐·霍尔 克里斯·威廉姆斯 / 斯科特·安第斯 瑞恩·波特',8.7,1049969,4.5,'豆瓣电影Top250','好想戳爆胖子看会发生什么……','Bill','https://movie.douban.com/subject/11026735'),(56,'2024-02-23 13:39:59','大话西游之月光宝盒',1995,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2561721372.jpg','1995 / 中国香港 中国大陆 / 喜剧 爱情 奇幻 古装 / 刘镇伟 / 周星驰 吴孟达',9,1256028,4.5,'豆瓣电影Top250','这才叫旷古烁今。','托尼·王大拿','https://movie.douban.com/subject/1299398'),(57,'2024-02-23 13:39:59','神偷奶爸',2010,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p792776858.jpg','2010 / 美国 法国 / 喜剧 动画 冒险 / 皮埃尔·柯芬 克里斯·雷纳德 / 史蒂夫·卡瑞尔 杰森·席格尔',8.7,972582,4.5,'豆瓣电影Top250','比玩具总动员3还要好看，同意的点有用','Quaikie魁克','https://movie.douban.com/subject/3287562'),(58,'2024-02-23 13:39:59','人生路不熟',2023,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2889864501.jpg','2023 / 中国大陆 / 剧情 喜剧 / 易小星 / 乔杉 范丞丞',5.8,232654,3,'中国大陆 喜剧 搞笑','刚刚，范丞丞有了代表作。','发条橙','https://movie.douban.com/subject/35653205'),(59,'2024-02-23 13:39:59','关于我和鬼变成家人的那件事',2022,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2881995796.jpg','2022 / 中国台湾 / 喜剧 悬疑 同性 奇幻 / 程伟豪 / 许光汉 林柏宏',8.1,382109,4,'近期热门电影榜','炎亚纶演的是本人吧..','spaceman','https://movie.douban.com/subject/35698284'),(60,'2024-02-23 13:40:00','临时劫案',2024,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2902984351.jpg','2024 / 中国大陆 中国香港 / 喜剧 动作 犯罪 / 麦启光 / 郭富城 林家栋',6.2,31236,3,'中国大陆 喜剧 犯罪','安南旅游大使哨牙城','Winnie遨游星瀚','https://movie.douban.com/subject/35491115'),(61,'2024-02-23 13:40:00','大内密探零零发',1996,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2455844666.jpg','1996 / 中国香港 / 喜剧 动作 爱情 古装 / 谷德昭 周星驰 / 周星驰 刘嘉玲',8,389308,4,'中国香港喜剧片榜','有一个时期，我觉得这部电影很恐怖','左左☮','https://movie.douban.com/subject/1329936'),(62,'2024-02-23 13:40:00','玩具总动员4',2019,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2551222752.jpg','2019 / 美国 / 喜剧 动画 奇幻 / 乔什·库雷 / 汤姆·汉克斯 蒂姆·艾伦',8.5,344475,4.5,'近期热门动画片榜','一个断手 一个失声（身） 这不就是《神雕侠侣》吗','哪吒男','https://movie.douban.com/subject/6850547'),(63,'2024-02-23 13:40:00','玩具总动员2',1999,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1283688673.jpg','1999 / 美国 / 喜剧 动画 奇幻 冒险 / 约翰·拉塞特 艾什·布兰农 李·昂克里奇 / 汤姆·汉克斯 蒂姆·艾伦',8.5,257204,4.5,'皮克斯高分电影榜','从床底翻出一大堆的蒙灰的玩具，跟它们说对不起。','zen:)','https://movie.douban.com/subject/1291574'),(64,'2024-02-23 13:40:00','爱宠大机密',2016,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2363369616.jpg','2016 / 美国 / 喜剧 动画 / 克里斯·雷纳德 亚罗·切尼 / 路易·C·K 艾瑞克·斯通斯崔特',7.8,301740,4,'美国 动画 喜剧','一部卡通片里居然死了一条蛇，太残暴了！','h','https://movie.douban.com/subject/21817627'),(65,'2024-02-23 13:40:00','宝贝计划',2006,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p946770581.jpg','2006 / 中国香港 中国大陆 / 剧情 喜剧 动作 / 陈木胜 / 成龙 古天乐',7.5,437142,4,'中国香港 喜剧 动作','我从背背山来..................','巽','https://movie.douban.com/subject/1859036'),(66,'2024-02-23 13:40:00','精灵旅社',2012,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2155072056.jpg','2012 / 美国 / 喜剧 动画 奇幻 / 格恩迪·塔塔科夫斯基 / 亚当·桑德勒 安迪·萨姆伯格',8.1,278353,4,'美国 动画 喜剧','父亲不易做 开明不算还需卖萌 w~','白鹿圆','https://movie.douban.com/subject/3269068'),(67,'2024-02-23 13:40:00','星条红与皇室蓝',2023,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2896539228.jpg','2023 / 美国 / 喜剧 爱情 同性 / 马修·洛佩兹 / 泰勒·扎克哈尔·佩雷斯 尼古拉斯·加利齐纳',7.6,123580,4,'豆瓣2023评分最高爱情片','我读的是英国寄宿学校，所以你可以相信我的技术。','王食欲','https://movie.douban.com/subject/33406097'),(68,'2024-02-23 13:40:00','红猪',1992,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2899263477.jpg','1992 / 日本 / 喜剧 动画 冒险 / 宫崎骏 / 森山周一郎 加藤登纪子',8.6,256707,4.5,'高分吉卜力电影榜','飞行员的墓在天空中','伞保护协会','https://movie.douban.com/subject/1291838'),(69,'2024-02-23 13:40:00','整蛊专家',1991,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2222649480.jpg','1991 / 中国香港 / 喜剧 爱情 / 王晶 / 刘德华 周星驰',8,298623,4,'中国香港喜剧片榜','【无敌老港片】看来看去，还是邱淑贞和周星驰最配了','狷介有乌青','https://movie.douban.com/subject/1299680'),(70,'2024-02-23 13:40:00','纵横四海',1991,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2597918718.jpg','1991 / 中国香港 / 剧情 喜剧 动作 犯罪 / 吴宇森 / 周润发 张国荣',8.8,439037,4.5,'豆瓣电影Top250','香港影史最赞三人行','眠去','https://movie.douban.com/subject/1295409'),(71,'2024-02-23 13:40:00','摩登时代',1936,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2263408369.jpg','1936 / 美国 / 剧情 喜剧 爱情 / 查理·卓别林 / 查理·卓别林 宝莲·高黛',9.3,313050,4.5,'豆瓣电影Top250','靠，看了才知道，星爷有那么多东西是从这里学来的。','大头绿豆','https://movie.douban.com/subject/1294371'),(72,'2024-02-23 13:40:00','小鬼当家2',1992,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2442677226.jpg','1992 / 美国 / 喜剧 家庭 犯罪 / 克里斯·哥伦布 / 麦考利·卡尔金 乔·佩西',8.1,173935,4,'美国 喜剧 搞笑','太经典了 只是多年以后没想到川普你！','不侠与','https://movie.douban.com/subject/1293353'),(73,'2024-02-23 13:40:00','喜宴',1993,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2249048907.jpg','1993 / 中国台湾 美国 / 剧情 喜剧 爱情 同性 家庭 / 李安 / 赵文瑄 归亚蕾',9,379331,4.5,'豆瓣电影Top250','这片在20年前是多么得前卫出格阿！！','ryanking1219','https://movie.douban.com/subject/1303037'),(74,'2024-02-23 13:40:00','赌神',1989,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p1986001156.jpg','1989 / 中国香港 / 剧情 喜剧 / 王晶 / 周润发 刘德华',8.5,271667,4.5,'中国香港喜剧片榜','王祖贤是个尤物','lcsun','https://movie.douban.com/subject/1300883'),(75,'2024-02-23 13:40:00','家有喜事',1992,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p940263436.jpg','1992 / 中国香港 / 剧情 喜剧 爱情 家庭 / 高志森 / 张国荣 周星驰',8.5,292108,4.5,'中国香港喜剧片榜','服了，真服了。服服帖帖\n给所有人5星。点名张国荣','怪瘦','https://movie.douban.com/subject/1300064'),(76,'2024-02-23 13:40:00','博物馆奇妙夜',2006,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2221540227.jpg','2006 / 美国 英国 / 喜剧 动作 家庭 奇幻 冒险 / 肖恩·利维 / 本·斯蒂勒 欧文·威尔逊',7.7,303761,4,'美国 喜剧 奇幻','小时候多希望博物馆的东西都能活过来！','Doublebitch','https://movie.douban.com/subject/1835843'),(77,'2024-02-23 13:40:00','我的个神啊',2014,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2243803873.jpg','2014 / 印度 / 喜剧 奇幻 / 拉吉库马尔·希拉尼 / 阿米尔·汗 安努舒卡·莎玛',8.4,371143,4,'印度喜剧片榜','不得不说宝莱坞的电影已经超越了中国太多太多！','foxhoundjames','https://movie.douban.com/subject/10741643'),(78,'2024-02-23 13:40:00','阳光姐妹淘',2011,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1374786017.jpg','2011 / 韩国 / 剧情 喜剧 / 姜炯哲 / 沈恩敬 闵孝琳',8.8,601939,4.5,'豆瓣电影Top250','再多各自牛逼的时光，也比不上一起傻逼的岁月。','五摆五折','https://movie.douban.com/subject/4917726'),(79,'2024-02-23 13:40:02','美人鱼',2016,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2316177058.jpg','2016 / 中国大陆 中国香港 / 喜剧 爱情 奇幻 / 周星驰 / 邓超 罗志祥',6.7,832937,3.5,'华语奇幻片榜','十年后又是一部经典。 16.01.20','            或','https://movie.douban.com/subject/19944106'),(80,'2024-02-23 13:40:02','这个杀手不太冷静',2022,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2814949620.jpg','2022 / 中国大陆 / 喜剧 / 邢文雄 / 马丽 魏翔',6.2,543074,3,'中国大陆 喜剧 搞笑','不装了，我摊牌了，我觉得比原作好笑','-','https://movie.douban.com/subject/35505100'),(81,'2024-02-23 13:40:02','我和我的家乡',2020,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2620453443.jpg','2020 / 中国大陆 / 剧情 喜剧 / 宁浩 徐峥 陈思诚 闫非 彭大魔 邓超 俞白眉 / 葛优 黄渤',7,669559,3.5,'中国大陆喜剧片榜','沈腾马丽>邓超闫妮>宁浩葛优>陈思诚黄渤>徐峥','zhang 2nd','https://movie.douban.com/subject/35051512'),(82,'2024-02-23 13:40:02','蜘蛛侠：纵横宇宙',2023,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2892315297.jpg','2023 / 美国 / 喜剧 动作 科幻 动画 奇幻 冒险 / 乔伊姆·多斯·桑托斯 凯普·鲍尔斯 贾斯汀·汤普森 / 沙梅克·摩尔 海莉·斯坦菲尔德',8.5,429871,4.5,'豆瓣2023评分最高动画片','反派原型是翟天临吗？一个要破坏织网的博士','杜皮','https://movie.douban.com/subject/30391186'),(83,'2024-02-23 13:40:02','羞羞的铁拳',2017,'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2499793218.jpg','2017 / 中国大陆 / 喜剧 奇幻 / 宋阳 张吃鱼 / 艾伦 马丽',6.8,723975,3.5,'2017热门院线电影','好运来那节我可以笑到过年。','姨妈的鸭','https://movie.douban.com/subject/27038183'),(84,'2024-02-23 13:40:02','热烈',2023,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2895553074.jpg','2023 / 中国大陆 / 剧情 喜剧 / 大鹏 / 黄渤 王一博',7.2,246053,3.5,'2023最值得期待的影视','杭州地铁是只有王一博和宋祖儿两个人坐是吧哈哈哈','没有去过沙漠','https://movie.douban.com/subject/35556001'),(85,'2024-02-23 13:40:02','美丽人生',1997,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2578474613.jpg','1997 / 意大利 / 剧情 喜剧 爱情 战争 / 罗伯托·贝尼尼 / 罗伯托·贝尼尼 尼可莱塔·布拉斯基',9.5,1364533,5,'豆瓣电影Top250','如果谎言可以这样美丽，我也情愿生活在谎言之中','老鸡｜扶立','https://movie.douban.com/subject/1292063'),(86,'2024-02-23 13:40:02','银河护卫队3',2023,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2887887081.jpg','2023 / 美国 / 喜剧 动作 科幻 惊悚 冒险 / 詹姆斯·古恩 / 克里斯·帕拉特 佐伊·索尔达娜',8.3,505652,4,'豆瓣2023评分最高喜剧片','众所周知，滚导宇宙和MCU毫不相干，早已是next level。','Aslp_','https://movie.douban.com/subject/26258779'),(87,'2024-02-23 13:40:02','驴得水',2016,'https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2393044761.jpg','2016 / 中国大陆 / 剧情 喜剧 / 周申 刘露 / 任素汐 大力',8.3,934639,4,'高分黑色幽默电影榜','过去的如果就让它过去了，未来只会越来越糟！','心生','https://movie.douban.com/subject/25921812'),(88,'2024-02-23 13:40:02','喜剧之王',1999,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2579932167.jpg','1999 / 中国香港 / 剧情 喜剧 爱情 / 周星驰 李力持 / 周星驰 张柏芝',8.8,1000401,4.5,'豆瓣电影Top250','我养你啊！','大宸','https://movie.douban.com/subject/1302425'),(89,'2024-02-23 13:40:02','无名之辈',2018,'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2539661066.jpg','2018 / 中国大陆 / 剧情 喜剧 / 饶晓志 / 陈建斌 任素汐',8,1034643,4,'中国大陆喜剧片榜','关于个人尊严的电影，这在我国是个稀缺物品。','well','https://movie.douban.com/subject/27110296'),(90,'2024-02-23 13:40:02','疯狂的石头',2006,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p712241453.jpg','2006 / 中国大陆 中国香港 / 喜剧 犯罪 / 宁浩 / 郭涛 刘桦',8.6,851057,4.5,'豆瓣电影Top250','中国最nb的片','浪味仙','https://movie.douban.com/subject/1862151'),(91,'2024-02-23 13:40:02','疯狂原始人',2013,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1867084027.jpg','2013 / 美国 / 喜剧 动画 冒险 / 柯克·德·米科 克里斯·桑德斯 / 尼古拉斯·凯奇 艾玛·斯通',8.7,861333,4.5,'豆瓣电影Top250','没错，就是一部人看人爱，无可挑剔的片子！','lola','https://movie.douban.com/subject/1907966'),(92,'2024-02-23 13:40:02','一出好戏',2018,'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2529571873.jpg','2018 / 中国大陆 / 剧情 喜剧 / 黄渤 / 黄渤 舒淇',7.1,

爬虫代码（可以运行）实时爬取！！

# # -*- coding: utf-8 -*-

# 数据爬取文件

import scrapy
import pymysql
import pymssql
from ..items import DianyingxinxiItem
import time
from datetime import datetime,timedelta
import datetime as formattime
import re
import random
import platform
import json
import os
import urllib
from urllib.parse import urlparse
import requests
import emoji
import numpy as np
import pandas as pd
from sqlalchemy import create_engine
from selenium.webdriver import ChromeOptions, ActionChains
from scrapy.http import TextResponse
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
# 电影信息
class DianyingxinxiSpider(scrapy.Spider):
    name = 'dianyingxinxiSpider'
    spiderUrl = 'https://m.douban.com/rexxar/api/v2/movie/recommend?refresh=0&start={}&count=20&selected_categories=%7B%22%E7%B1%BB%E5%9E%8B%22:%22%E5%96%9C%E5%89%A7%22%7D&uncollect=false&tags=%E5%96%9C%E5%89%A7&ck=IsFz'
    start_urls = spiderUrl.split(";")
    protocol = ''
    hostname = ''
    realtime = False

    headers = {
        'Referer':'https://movie.douban.com/explore',
'Cookie':'用你的Cookie'
    }

    def __init__(self,realtime=False,*args, **kwargs):
        super().__init__(*args, **kwargs)
        self.realtime = realtime=='true'

    def start_requests(self):

        plat = platform.system().lower()
        if not self.realtime and (plat == 'linux' or plat == 'windows'):
            connect = self.db_connect()
            cursor = connect.cursor()
            if self.table_exists(cursor, 'c2xklu0u_dianyingxinxi') == 1:
                cursor.close()
                connect.close()
                self.temp_data()
                return
        pageNum = 1 + 1

        for url in self.start_urls:
            if '{}' in url:
                for page in range(1, pageNum):

                    next_link = url.format(page)
                    yield scrapy.Request(
                        url=next_link,
                        headers=self.headers,
                        callback=self.parse
                    )
            else:
                yield scrapy.Request(
                    url=url,
                    headers=self.headers,
                    callback=self.parse
                )

    # 列表解析
    def parse(self, response):
        _url = urlparse(self.spiderUrl)
        self.protocol = _url.scheme
        self.hostname = _url.netloc
        plat = platform.system().lower()
        if not self.realtime and (plat == 'linux' or plat == 'windows'):
            connect = self.db_connect()
            cursor = connect.cursor()
            if self.table_exists(cursor, 'c2xklu0u_dianyingxinxi') == 1:
                cursor.close()
                connect.close()
                self.temp_data()
                return
        data = json.loads(response.body)
        try:
            list = data["items"]
        except:
            pass
        for item in list:
            fields = DianyingxinxiItem()


            try:
                fields["title"] = str( item["title"])

            except:
                pass
            try:
                fields["year"] = int( item["year"])
            except:
                pass
            try:
                fields["picture"] = str( item["pic"]["normal"])

            except:
                pass
            try:
                fields["ypxx"] = str( item["card_subtitle"])

            except:
                pass
            try:
                fields["pingfen"] = float( item["rating"]["value"])
            except:
                pass
            try:
                fields["pjs"] = int( item["rating"]["count"])
            except:
                pass
            try:
                fields["wxs"] = float( item["rating"]["star_count"])
            except:
                pass
            try:
                fields["tags"] = str( item["tags"][0]["name"])

            except:
                pass
            try:
                fields["plnr"] = str( item["comment"]["comment"])

            except:
                pass
            try:
                fields["uname"] = str( item["comment"]["user"]["name"])

            except:
                pass
            try:
                fields["xqdz"] = str('https://movie.douban.com/subject/'+ item["id"])

            except:
                pass

            yield fields

    # 详情解析
    def detail_parse(self, response):
        fields = response.meta['fields']
        return fields

    # 数据清洗
    def pandas_filter(self):
        engine = create_engine('mysql+pymysql://root:123456@localhost/spiderc2xklu0u?charset=UTF8MB4')
        df = pd.read_sql('select * from dianyingxinxi limit 50', con = engine)

        # 重复数据过滤
        df.duplicated()
        df.drop_duplicates()

        #空数据过滤
        df.isnull()
        df.dropna()

        # 填充空数据
        df.fillna(value = '暂无')

        # 异常值过滤

        # 滤出 大于800 和 小于 100 的
        a = np.random.randint(0, 1000, size = 200)
        cond = (a<=800) & (a>=100)
        a[cond]

        # 过滤正态分布的异常值
        b = np.random.randn(100000)
        # 3σ过滤异常值，σ即是标准差
        cond = np.abs(b) > 3 * 1
        b[cond]

        # 正态分布数据
        df2 = pd.DataFrame(data = np.random.randn(10000,3))
        # 3σ过滤异常值，σ即是标准差
        cond = (df2 > 3*df2.std()).any(axis = 1)
        # 不满⾜条件的⾏索引
        index = df2[cond].index
        # 根据⾏索引，进⾏数据删除
        df2.drop(labels=index,axis = 0)

    # 去除多余html标签
    def remove_html(self, html):
        if html == None:
            return ''
        pattern = re.compile(r'<[^>]+>', re.S)
        return pattern.sub('', html).strip()

    # 数据库连接
    def db_connect(self):
        type = self.settings.get('TYPE', 'mysql')
        host = self.settings.get('HOST', 'localhost')
        port = int(self.settings.get('PORT', 3306))
        user = self.settings.get('USER', 'root')
        password = self.settings.get('PASSWORD', '123456')

        try:
            database = self.databaseName
        except:
            database = self.settings.get('DATABASE', '')

        if type == 'mysql':
            connect = pymysql.connect(host=host, port=port, db=database, user=user, passwd=password, charset='utf8')
        else:
            connect = pymssql.connect(host=host, user=user, password=password, database=database)
        return connect

    # 断表是否存在
    def table_exists(self, cursor, table_name):
        cursor.execute("show tables;")
        tables = [cursor.fetchall()]
        table_list = re.findall('(\'.*?\')',str(tables))
        table_list = [re.sub("'",'',each) for each in table_list]

        if table_name in table_list:
            return 1
        else:
            return 0

技术栈介绍：
我们的项目技术栈选择了稳健高效的组合，涵盖了从开发语言到数据库和工具的各个方面，适合构建高效稳定的 Web 应用。

开发语言采用了广受欢迎的 Python 3.7.7。这一版本在功能性和稳定性之间找到了很好的平衡，支持数据类、异步生成器等特性，并且与现代框架和库的兼容性极佳。Python 简洁的语法和丰富的生态系统，为快速开发奠定了基础。

框架选择了全能的 Django，这是一款专注于快速开发和安全性的全栈框架。它内置了用户认证、ORM（对象关系映射）、管理后台等功能，能够帮助开发者快速搭建中大型 Web 应用，同时减少常见安全问题的发生。

在数据库方面，我们选用性能稳定的 MySQL 5.7。这一版本支持 JSON 数据类型，查询性能显著提升，同时也非常适合与 Django 的 ORM 配合使用。MySQL 5.7 的高可用性和稳定性使其成为中小型到企业级项目的理想选择。

为了方便数据库的管理和操作，我们使用经典的 Navicat 11。它的直观界面和强大的功能（如数据导入导出、备份还原、SQL 查询编辑等）让开发者能够更高效地管理数据库，简化日常维护工作。

开发软件选用的是专业的 PyCharm，这是一款针对 Python 和 Django 开发优化的 IDE。它提供了智能代码补全、调试工具、模板调试器等功能，极大地提升了开发效率，同时也让团队协作更加顺畅。

最后，在浏览器方面，我们使用了强大的 谷歌浏览器（Google Chrome）。它内置的开发者工具支持前端调试、网络性能分析等功能，加上丰富的插件扩展，如 Postman 和 JSON Viewer，使其成为开发和测试 Web 应用的不二选择。

这套技术栈从语言、框架到数据库和开发工具，覆盖了开发过程中的每个关键环节，是实现高效开发和稳定运行的可靠方案。

• 源码获取

  
  文章下方名片联系我即可~
  大家点赞、收藏、关注、评论啦 、查看👇🏻获取联系方式👇🏻
  精彩专栏推荐订阅：在下方专栏